Phrase-Instance Alignment for Generalized Referring Segmentation

이 논문은 언어적 구와 시각적 인스턴스 간의 정밀한 대응을 학습하기 위해 '구 - 객체 정렬 (POA)' 손실 함수와 통합적 가중치 집계 메커니즘을 도입하여, 기존 일반화 참조 분할 (GRES) 모델의 한계를 극복하고 gRefCOCO 및 Ref-ZOM 벤치마크에서 기존 최고 성능을 크게 상회하는 결과를 달성한 방법을 제안합니다.

핵심

🎨 비유: "나쁜 요리사 vs. 명석한 셰프"

과거의 컴퓨터 비전 모델들은 **'나쁜 요리사'**와 같았습니다.
예를 들어, "왼쪽에 있는 두 명의 남자와 오른쪽의 개를 찾아줘"라고 주문하면, 이 요리사는 "아, '남자'와 '개'가 필요하구나!"라고 생각한 뒤, 이미지 전체를 뒤적여 남자 두 명과 개 한 마리를 다 합쳐서 하나의 큰 덩어리 (한 그릇의 국) 로 만들어서 내줬습니다.

• 문제점: "어느 남자가 왼쪽이고, 어느 개가 오른쪽인지" 구분이 안 됩니다. 마치 모든 재료를 섞어 버린 스튜처럼, 개별적인 특징을 잃어버린 거죠.

이 논문에서 제안한 InstAlign은 **'명석한 셰프'**입니다.
주문을 받으면 다음과 같이 행동합니다.

1. 재료를 하나씩 분리 (Instance Segmentation): "아, '왼쪽 남자 1 명', '왼쪽 남자 2 명', '오른쪽 개' 이렇게 세 개의 개별 재료를 먼저 찾아낸다."
2. 주문과 매칭 (Phrase-Object Alignment): "그런데 주문서에 '오른쪽 개'라고 했으니, 찾아낸 개 중 오른쪽에 있는 개와만 딱 연결해라. 왼쪽에 있는 다른 개는 제외해라."
3. 최종 요리 (Aggregation): "이제 연결된 '왼쪽 남자 두 명'과 '오른쪽 개'만 골라내서 접시에 담아낸다." 만약 주문에 해당하는 게 아예 없다면 (예: "공중에 떠 있는 비행기"), "아, 여기엔 그런 게 없네요"라고 정중히 거절합니다.

---

🔍 핵심 기술 3 가지 (쉽게 설명)

이 셰프가 어떻게 그렇게 똑똑해졌는지 세 가지 핵심 기술을 소개합니다.

1. "개별 식별력" (Instance-aware Segmentation)

• 이전 방식: "남자"라는 단어만 보고 이미지에서 남자 모양을 다 찾아서 뭉개버림.
• InstAlign 방식: "남자 1, 남자 2, 개 1, 개 2..."처럼 **각각의 개체를 독립적인 '질문 (Query)'**으로 따로따로 찾아냅니다. 마치 마트에서 장바구니에 담긴 물건을 하나하나 따로 세는 것처럼요.

2. "주문서와 물건 연결하기" (Phrase-Object Alignment, POA)

• 이것이 이 논문의 가장 큰 혁신입니다.
• 컴퓨터가 "왼쪽의 남자"라는 문장을 읽을 때, 단순히 '남자'와 '왼쪽'이라는 단어만 보는 게 아니라, "찾아낸 남자 1 번"과 "주문서의 '왼쪽' 부분"이 얼마나 잘 맞는지 점수를 매깁니다.
• 비유: 요리사가 "이 고기는 '소금' 주문과 잘 어울리고, 저 고기는 '후추' 주문과 잘 어울리네?"라고 생각하며 재료를 분류하는 것과 같습니다. 이렇게 하면 "오른쪽의 개"를 찾을 때, 왼쪽에 있는 개를 실수로 섞지 않게 됩니다.

3. "중요도 점수대로 섞기" (Relevance-Weighted Aggregation)

• 최종적으로 어떤 물건을 보여줄지 결정할 때, "이건 90% 확률로 맞고, 저건 10% 확률로 틀리네"라고 **점수 (Relevance Score)**를 매깁니다.
• 점수가 높은 것들만 골라내서 최종 이미지를 만듭니다. 만약 주문한 게 전혀 없다면 (예: "파란 코끼리"), 점수가 모두 낮아지므로 "없음 (No-target)"이라고 판단합니다.

---

🏆 왜 이것이 중요한가요?

이 방법은 기존 기술보다 정확도가 훨씬 높습니다.

• 복잡한 문장 해결: "왼쪽의 두 남자 중 파란 셔츠 입은 사람"처럼 문장이 길고 복잡해도, 각 단어와 각 물체를 정확히 연결하므로 헷갈리지 않습니다.
• 없는 것 찾기: "여기 있는 빨간 자동차"라고 했을 때, 빨간 차가 없으면 "없습니다"라고 정확히 말해줍니다. (기존 모델들은 억지로 무언가를 찾아내려다 엉뚱한 것을 보여주곤 했습니다.)

💡 결론

이 논문은 컴퓨터에게 **"단순히 무언가를 찾는 것"을 넘어, "언어와 이미지의 미세한 관계를 이해하고, 각 물체를 개별적으로 구분한 뒤 주문서에 맞춰 조립하는 능력"**을 가르쳤습니다.

마치 수제 공예가가 주문서를 보고 재료를 하나하나 정성스럽게 선별해 나가는 것처럼, 컴퓨터도 이제 훨씬 더 섬세하고 똑똑하게 이미지를 이해하게 되었습니다.

기술 요약

1. 문제 정의 (Problem Definition)

**일반화된 지시 분할 (Generalized Referring Expression Segmentation, GRES)**은 이미지 내의 객체를 지시하는 자연어 표현을 입력받아 해당 영역을 분할하는 작업입니다. 기존의 **참조 표현 분할 (RES)**이 단일 객체를 대상으로 한다면, GRES 는 다음과 같은 더 복잡한 시나리오를 다룹니다.

• 여러 관련 객체: "왼쪽에 있는 두 남자", "주차장의 모든 차"
• 대상 없음 (No-target): "소파 위의 코끼리" (이미지에 코끼리가 없는 경우)

기존 방법의 한계:
기존 GRES 모델들은 대부분 지시 표현을 하나의 통합된 이진 마스크 (binary mask) 로 예측합니다. 이는 언어적 구조를 무시하고 모든 표현을 단일 영역으로 평탄화 (flattening) 시킵니다. 그 결과 다음과 같은 문제가 발생합니다.

• 여러 관련 객체를 구분하지 못하거나 (과분할/과소분할),
• 객체의 속성 (attribute) 이나 관계 (relation) 를 정확히 포착하지 못함,
• 대상이 없는 경우를 처리하는 데 어려움을 겪음.

2. 제안 방법: InstAlign (Methodology)

저자들은 GRES 문제를 인스턴스 수준의 추론 (instance-level reasoning) 문제로 재정의하고, InstAlign이라는 새로운 프레임워크를 제안했습니다. 핵심은 "단일 마스크 예측" 대신 "여러 인스턴스 예측 후 언어적 구절과 정렬 (Alignment) 하여 통합"하는 것입니다.

2.1. 주요 구성 요소

1. 구절 조건부 인스턴스 분할 (Phrase-conditioned Instance Segmentation):

   • Mask2Former 와 같은 쿼리 기반 인스턴스 분할 백본을 참조 표현 조건에 맞게 확장합니다.
   • 모델은 입력된 지시 표현에 조건부 (conditioned) 로 여러 개의 **객체 쿼리 (object queries)**를 생성하며, 각 쿼리는 이미지 내의 특정 객체 인스턴스에 대응합니다.
   • 기존 GRES 와 달리, 각 쿼리가 구체적인 객체 인스턴스를 나타내도록 **인스턴스 수준의 지도 학습 (instance-level supervision)**을 수행합니다.

2. 구절 - 객체 정렬 (Phrase-Object Alignment, POA):

   • 생성된 각 객체 쿼리가 입력 문장의 어떤 **구절 (phrase)**과 가장 관련이 있는지 명시적으로 정렬합니다.
   • POA Loss: 객체 쿼리와 해당 객체를 설명하는 텍스트 구절의 임베딩 간의 유사성을 최대화하는 손실 함수를 도입합니다.
   • 이를 통해 시각적 인스턴스와 언어적 설명 사이의 미세한 (fine-grained) 대응 관계를 학습하며, 해석 가능한 (interpretable) 추론을 가능하게 합니다.

3. 관련도 가중 집계 (Relevance-Weighted Aggregation):

   • 최종 분할 마스크는 모든 인스턴스 예측을 단순 합산하는 것이 아니라, 학습된 **관련도 점수 (relevance scores)**를 가중치로 사용하여 부드럽게 (softly) 통합합니다.
   • Instance Aggregation (IA) 모듈: 각 인스턴스 마스크를 가중치로 합성하여 최종 마스크를 생성합니다. PReLU 활성화 함수를 사용하여 배경 노이즈를 억제합니다.
   • No-target 예측기: 모든 인스턴스의 관련도 점수가 낮을 경우, 해당 표현이 이미지 내 어떤 객체도 지시하지 않는다고 판단하는 분류기를 통해 '대상 없음' 상황을 처리합니다.

3. 주요 기여 (Key Contributions)

1. GRES 에 대한 명시적 인스턴스 수준 지도 학습 도입:

   • 기존 GRES 모델이 집계된 분할 결과만 감독받았던 것과 달리, InstAlign 은 각 객체 쿼리가 지시된 특정 인스턴스에 대응하도록 명시적으로 학습시킵니다. 이는 GRES 분야에서 처음 시도된 접근입니다.

2. POA (Phrase-Object Alignment) 메커니즘 제안:

   • 암묵적 교차 모달 어텐션에 의존하던 기존 방식과 달리, 각 인스턴스를 문장 내 가장 관련 있는 구절에 직접 연결하는 미분 가능한 정렬 메커니즘을 제안했습니다. 이는 시각적 인스턴스와 텍스트 설명 간의 의미론적 일관성을 보장합니다.

3. 관련도 가중 집계 (Relevance-Weighted Aggregation) 및 No-target 처리:

   • 학습된 관련도 점수를 기반으로 인스턴스를 동적으로 통합하거나 배제하는 메커니즘을 설계하여, 복잡한 다중 객체 표현과 '대상 없음' 시나리오에 대한 강건성을 크게 향상시켰습니다.

4. 실험 결과 (Results)

저자는 gRefCOCO와 Ref-ZOM이라는 두 가지 주요 GRES 벤치마크에서 InstAlign 을 평가했습니다.

• 성능 향상:

  • gRefCOCO: 기존 SOTA 방법 (ReLA, LQMFormer 등) 및 대규모 언어 모델 기반 방법 (LISA, GSVA 등) 을 모두 능가했습니다.
    • cIoU: 68.94% (기존 최고 대비 +3.22% 향상)
    • N-acc (No-target 정확도): 79.72% (기존 최고 대비 +12.25% 향상)
  • Ref-ZOM: mIoU, oIoU, Acc 모든 지표에서 SOTA 를 기록했습니다.
    • cIoU: 70.81%, Acc: 94.23%

• Ablation Study:

  • 인스턴스 지도 학습과 POA Loss 를 모두 사용할 때 성능이 가장 크게 향상됨을 확인했습니다.
  • Hard selection 대신 Soft aggregation (IA) 을 사용함으로써 성능이 개선됨을 입증했습니다.
  • 100 개의 객체 쿼리 (N=100) 가 최적의 성능을 보였습니다.

• 시각화:

  • 복잡한 표현 (예: "오른쪽의 작은 개를 들고 있는 소녀") 에서 기존 모델이 여러 객체를 혼동하거나 과분할하는 반면, InstAlign 은 각 객체를 정확히 식별하고 관련 구절과 매칭하여 정확한 마스크를 생성함을 보여주었습니다.

5. 의의 및 결론 (Significance)

InstAlign 은 GRES 작업을 단순한 분할 문제가 아닌 구조화된 인스턴스 추론 문제로 재정의했다는 점에서 의의가 큽니다.

• 해석 가능성 (Interpretability): 모델이 어떤 텍스트 구절이 어떤 객체 인스턴스를 지시하는지 명확하게 보여줄 수 있어, 블랙박스 모델의 한계를 극복합니다.
• 강건성 (Robustness): 복잡한 관계 표현이나 대상이 없는 경우에도 높은 정확도를 유지하며, 기존 GRES 모델들이 겪던 한계를 해결했습니다.
• 효율성: 초대규모 LLM 기반 모델에 비해 상대적으로 경량화되어 있으며, 기존 GRES 데이터셋의 인스턴스 어노테이션을 효과적으로 활용합니다.

결론적으로, InstAlign 은 비전 - 언어 태스크에서 미세한 구문 - 객체 정렬의 중요성을 입증하고, 향후 다중 객체 이해 및 복잡한 지시 표현 처리를 위한 새로운 표준을 제시합니다.