기술 요약: 시각-언어 분할에서의 맥락적 건망증(Contextual Amnesia) 규명

1. 문제 정의: 맥락적 건망증 (Contextual Amnesia)

본 논문은 최첨단 시각-언어(Vision–Language, V-L) 분할 모델에서 나타나는 체계적인 실패 모드인 맥락적 건망증을 식별한다. 이러한 모델들은 개별 속성(예: "파란 공")을 근거화(grounding)하는 데는 능숙함을 보이지만, 대상을 선택하기 위해 주변의 언어적 맥락을 파싱해야 하는 상황에서는 체계적으로 무너진다.

구체적으로, 저자들은 모델이 다음과 같은 작업에 실패함을 관찰했다:

• 관계적 추론 (Relational Reasoning): 공간적 관계를 바탕으로 대상을 올바르게 식별하는 능력 (예: "빨간 머그컵 왼쪽에 있는 파란 공").
• 다중 대상 선택 (Multi-Target Selection): 동일한 속성을 공유하는 여러 객체를 선택해야 하는 프롬프트 처리.
• 지시 부정 (Instruction Negation): 부정 명령을 올바르게 해석하는 능력 (예., "파란 공을 분할하지 마시오").
• 부재 인지 (Absence Awareness): 요청된 객체가 장면에 존재하지 않을 때 이를 인식하고 빈 마스크를 반환하는 능력 (예: 빨간 사다리가 없는 상황에서 "분홍색 사다리를 분할하라"고 요청받았을 때).

저자들은 기존의 자연 이미지 벤치마크(예: RefCOCO)가 이러한 실패를 은폐하고 있다고 가설을 세웠다. 이는 자연 사진의 분포가 어휘적 지름길(특정 단어와 정답 마스크 사이의 상관관계)을 허용하여, 관계 및 부정 추론에 필요한 언어진호(linguistic signal)를 압도함으로써 손실 함수(loss function)를 지배하기 때문이다.

2. 방법론

RefSeg-Synthetic 벤치마크

이 실패를 격리하고 측정하기 위해, 저자들은 통제된 실험실 역할을 하도록 설계된 완전 절차적 합성 벤치마크인 RefSeg-Synthetic을 도입했다:

• 규모: 52,791개의 렌더링된 객체를 포함하는 10,000개의 이미지.
• 설계: 모든 요소(모양, 색상, 패턴, 재질, 위치, 폐쇄/occlusion)는 명시적인 파라미터 분포에서 샘축된다. 정답 마스크는 알고리즘적으로 계산되어 픽셀 단위의 정확성을 보장하고 주석 작성자의 노이즈를 제거한다.
• 언어적 체계 (Linguistic Regimes): 특정 능력을 테스트하기 위해 프로ンプ트는 다섯 가지 구별된 체계에 걸쳐 생성된다:
  1. 속성 (~52%): 속성에 의한 단일 대상 선택 (예: "청록색 하트를 분할하라").
  2. 관계 (~43%): 공간 관계로 수식되는 대상 (예: "직사각형 오른쪽에 있는 별을 분할하라").
  3. 다중 대상 (~4%): 여러 객체의 선택 (예: "모든 진한 파란색 객체를 분할하라").
  4. 부정 (~5%): 명시적 부정 (예: "작은 깃발을 분할하지 마시오").
  5. 대상 부재 (~3%): 존재하지 않는 객체에 대한 요청 (예: 존재하지 않는 상황에서 "분홍색 화살표를 분할하라").
• 지표: 성능은 IoU(Intersection-over-Union), Dice, 정밀도/재현율 비대칭성(Precision/Recall asymmetry), Boundary IoU, 그리고 부재 프롬프트에 대한 특정 "빈 마스크 정확도"를 포함한 105개 지표를 통해 평가된다.

실험 설정

본 연구는 제로샷(zero-shot) 설정(벤치마크에 대한 미세 조정 없음)에서 6개의 오픈 소스 V-L 분할 파이프라인을 평가한다:

1. CLIPSeg (ViT-B/16 및 ViT-L/14 변형): 단일 샷 밀집 예측(single-shot dense prediction).
2. CLIP+GradCAM: 그래디언트 기반 근거화 베이스라인.
3. 캐스케이드 파이프라인 (CLIP+SAM, OpenCLIP+SAM, SigLIP+SAM): 상위 디텍터가 Segment Anything Model (SAM)을 위한 바운딩 박스를 생성하는 2단계 시스템.

또한, 저자들은 두 가지 개입 연구를 수행한다:

• 처음부터 학습하는 프로브 (From-Scratch Probe): 구조화된 감독의 결여 때문인지 아니면 모델 규모의 문제인지를 테스트하기 위해, 합성 데이터로 3개의 경량(~9M 파라미터) 무작위 초기화 아키텍처를 학습시킨다.
• 표적 적응 (Targeted Adaptation): 식별된 실패 모드를 해결하기 위해 설계된 다섯 가지 특정 기술을 사용하여 가장 강력한 사전 학습된 백본(SigLIP+SAM, OpenCLIP+SAM, CLIP+SAM)을 미세 조정한다.

3. 주요 결과

실패 프로필

• 관계적 붕괴 (Relational Collapse): 테스트된 모든 파이프라인은 속성 전용 프롬프트와 관계형 프롬프트 사이에 4~6배의 성능 격차를 보인다. 가장 강력한 파이프라인(SigLIP+SAM)의 경우, 공간 관계를 추가하면 IoU가 45~56% 감소한다.
• 부정/부재에 대한 파괴적 실패: 디텍터-캐스케이드 파이프라인(CLIP+SAM, OpenCLIP+SAM, SigLIP+SAM)은 부정 및 대상 부재 프롬프트에서 0.00 IoU를 기록한다. 이들은 분할하지 말라고 지시하거나 객체가 없을 때도 일관되게 마스크를 환각(hallucinate)한다. 밀집 예측 모델(CLIPSeg)은 약간 더 나은 성능을 보이지만 여전히 크게 실패한다.
• 규모의 무효성: 모델 규모를 키우는 것(예: CLIPSeg-B에서 CLIPSeg-L로)은 미미한 이득(+0.69% IoU)만을 가져오며, 이는 병목 현상이 시각적 용량이 아니라 관계적 언어 구조를 인코딩하는 능력의 부재임을 나타낸다.
• 환각적 자신감 (Hallucinated Confidence): 모델들은 높은 정밀도-재현율 비대칭성을 보이며, 잘못된 위치에서 "틀렸지만 확신에 찬" 마스크를 생성한다. 이는 맥락적 건망증의 특징이다.

치료적 개입 (Curative Interventions)

• 처음부터 학습하는 성공: 합성 데이터로 단 1 에포크 동안 학습된 세 개의 무작위 초기화된 9M 파라미터 아키텍처가 가장 강력한 십억 단위 파라미터 제로샷 파이프라인보다 +24 ~ +25 절대 IoU 포인트 높게 나타났다(약 0.593 IoU 도달). 이는 실패가 단순한 규모의 문제가 아니라 구조화된 감독을 통해 치료 가능하다는 것을 증명한다.
• 표적 적응: 고정된 백본에 다섯 가지 특정 적응 기술을 적용했다:
  • HNCFT (Hard-Negative Contrastive Fine-Tuning): 거절 능력을 복구하여, 빈 마스크 정확도를 0.00에서 약 0.91으로 높인다.
  • SYNGAT (Syntactic Graph Attention): 관계적 연결을 보존하여, 관계형 및 다중 대상 프롬프트에서 성능을 크게 향상시킨다.
  • SRRH (Spatial-Relation Reasoning Head): 공간적 편향을 주입하여, 모든 백본에서 관계적 추론을 개선한다.
  • QFB & CPD: 롱 컨텍스트 드리프트(long-context drift)와 프롬프트 복잡성을 해결한다.
• 앙상블 성능: 두 명의 가장 강력한 전문가(HNCFT와 SYNGAT)를 후기 융합(late-fusion)한 SigLIP+SAM 앙상블은 0.687 IoU를 달성했다. 이는 가장 강력한 제로샷 파이프라인보다 2.00배 높으며, 처음부터 학습한 상한선보다 +0.094 높다.

4. 의의 및 주장

본 논문은 맥락적 건망증이 단일한 용량 제한이 아니라 분해 가능한 실패 유형의 집합이라고 주장한다. 핵심 기여는 다음과 같다:

1. 진단 도구: RefSeg-Synthetic은 관계적, 부정적, 부재 인지 추론을 격리하여 자연 이미지 벤치마크에 의해 은폐된 실패를 드러내는 통제된 환경을 제공한다.
2. 표상 가설 (Representational Hypothesis): 이 실패는 모델 파라미터의 부족이 아니라, 사전 학습 데이터(예: LAION, COCO)에 구조화된 관계적 감독이 부족하기 때문이라는 점을 밝힌다. 저자들은 구조화된 데이터로 학습된 작은 모델이 거대한 제로샷 모델보다 우수함을 입증했다.
3. 수정 가능성 (Repairability): 기존의 십억 단위 파라미터 모델들을 대상으로, 언어적 맥락과 공간적 국소화를 연결하는 표적화된 경량 어댑터(총 약 8M 학습 가능 파라미터)를 통해 이 결함을 수정할 수 있음을 보여준다.
4. 구조적 한계: 본 연구는 디텍터-캐스케이드 아키텍처가 부정/부재 사례에 대한 명시적 학습 없이는 "아니오"라고 말할(빈 마스크를 반환할) 수 없는 구조적 무능력을 가지고 있음을 강조하며, 이는 비전 백본을 확장하는 것으로 해결되지 않는다.

저자들은 분야가 인간과 같은 구성적 이해(compositional understanding)를 달 achieve 하기 위해서는 규모에만 의존하는 것에서 벗어나, 구조화된 관계적 감독과 표적화된 아키텍처 개입을 통합하는 방향으로 전환해야 한다고 결론짓는다.