기술 요약: SEER – 제어된 공간 관계 분류를 위한 자기-근거적 증거 인터페이스 (A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification)

문제 정의

시각-언어 모델(VLM)은 개별 개체는 올바르게 인식하더라도 공간 관계 추론에서는 빈번하게 실패합니다. VSR, What'sUp, GQA, ARO와 같은 벤치마크들은 모델이 객체는 인식하지만 그들의 위치를 비교하는 데 실패하며, 대신 언어적 사전 지식(language priors)에 의존하거나, 잘못된 인스턴스에 주의를 기울이거나, 모호한 전역 뷰(global views)를 해석한다는 점을 보여줍니다. 현재의 추론 중심 체크포인트와 멀티모달 모델들은 적절한 시각적 증거의 선택을 본질적으로 보장하지 못합니다. 핵심 문제는 공간적 답변의 신뢰도가 입력된 증거의 품질에 달려 있다는 것입니다. 만약 모델이 잘못된 인스턴스에 주의를 기울이거나 명시적인 역할 조건화(role conditioning)가 결여되어 있다면, 결정이 내려지기 전에 관계 예측을 위한 전제가 이미 오염된 상태가 됩니다.

방법론: SEER

SEER(Self-grounded Evidence for Entity-Relation Reasoning)은 동결된(frozen) VLM을 위해 설계된 학습이 필요 없는 추론 시점의 증거 인터페이스입니다. 이 방식은 새로운 모델을 학습시키거나 외부 탐지기에 의존하지 않습니다. 대신, VLM의 결정 과정을 가이드하기 위해 쿼리 특화적인 시각적 증거 상태를 구축합니다. 이 방법은 네 단계로 작동합니다:

1. 대상-관계-은닉 자기-근거화 (Target-Relation-Hidden Self-Grounding)

SEER은 먼저 동결된 VLM 그라운더($G$)를 사용하여 쿼리된 주체($S$)와 객체($O$) 쌍을 국소화합니다. 결정적으로, 이 그라운딩 단계는 대상-관계-은닉(target-relation-hidden) 방식으로 이루어집니다. 즉, 모델은 이미지와 엔티티 이름은 받지만, 후보 관계와 정답 옵션은 명시적으로 차단됩니다. 이는 그라운더가 특정 관계에 편향되도록 박스 선택을 유도하는 것을 방지합니다.

• 검증: 박스는 양의 면적과 유효한 좌표를 갖는지 검증됩니다. 그라운딩에 실패할 경우, 시스템은 전체 이미지로 폴백(fallback)합니다.

2. 상보적 증거 상태의 구축

SEER은 동일한 주체/객체 쌍에 대해 세 가지 구별된 증거 유형을 생성합니다:

• 전체 이미지 증거 (Full Image Evidence): 원래의 이미지와 질문을 유지하여 전역적 맥락을 보존합니다. 이는 안전한 폴백 역할을 합니다.
• 자기-근거 마커 뷰 (Self-Grounded Marker View): 주체와 객체의 바운딩 박스 합집합을 포함하는 크롭된 뷰입니다. 주체는 "S"라고 라벨링된 빨간색 박스로, 객체는 "O"라고 라벨링된 파란색 박스로 표시됩니다. 이 상태는 **국소적 재집중(local refocus)**과 명시적 역할 할당을 제공하여, 모델이 후보 관계 없이 특정 쌍과 그들의 언어적 역할에 집중하도록 강제합니다.
• 임계값 적격 기하 구조 (Threshold-Eligible Geometry): 박스의 중심과 범위를 통해 도출된 결정론적 후보입니다. 이는 특정 관계(예: 수평 변위에 의한 왼쪽/오른쪽, 박스 커버리지에 의한 내부/포함)에 대해서만 적격하며, 2D 기하 구조만으로는 불충분한 관계(예: 앞/뒤, 위/아래)에 대해서는 수행을 생략합니다.

3. 학습이 필요 없는 증거 결정

결정 단계는 고정된 결정론적 규칙을 사용하여 사용 가능한 상태들로부터 예측을 집계합니다:

• 순방향 결정 (Forward Decision): 기하 구조가 적격하고 그 레이아웃 점수가 임계값($\tau=0.5$)을 초과하면 이를 우선시합니다. 그렇지 않으면, 시스템은 옵션 점수 차이(최상위 후보와 차순위 후보 간의 차이)가 더 큰 시각적 상태(전체 또는 마커)를 선택합니다.
• 상호 일관성 정제 (Reciprocal Consistency Refinement): 정확한 역 관계(예: 왼쪽 $\leftrightarrow$ 오른쪽)를 가진 프로토콜의 경우, SEER은 주체와 객체의 역할을 바꾸고(및 S/O 마커를 교체) 쿼리를 재평가하는 상호 검사를 수행합니다. 만약 (전체 또는 마커 중) 단 하나의 상태만이 역 관계를 준수하고 다른 하나는 그렇지 않다면, 시스템은 일관된 상태로 전환합니다. 이는 정확한 역 관계가 존재할 때만 작동하는 충돌 해결 메커니즘 역할을 합니다.

주요 기여

1. 쿼리 특화 증거 인터페이스: 본 논문은 공간적 답변을 증거 인터페이스 문제로 정식화하며, 대상-관계-은닉 자기-근거화를 도입했습니다. 이를 통해 VLM 학습이나 외부 탐지기 없이도 쿼리된 쌍을 역할이 명시된 시각적 증로 전환합니다.
2. 상호 일관성 정제: 정확한 주체/객체 교환을 통해 충돌하는 증거 상태에 대한 관찰 가능한 일관성 큐를 얻는, 선택적이고 프로토콜 특화된 정제 기법을 사용하며, 별도의 학습된 캘리브레이션이나 타겟 라벨을 요구하지 않습니다.
3. 메커니즘 격리: 일치하는 대조 실험(예: 마커 없는 크롭, S/O 정체성 교체, 오라클 박스 사용)을 통해, 저자들은 국소적 재집중과 역할-명시적 조건화가 단순한 크롭이나 추가적인 텍스트 지시가 아닌, 성능 향상의 주요 동력임을 격리하여 입증했습니다.

실험 결과

SEER은 여러 모델(Qwen3-Instruct/Thinking, Qwen2.5, R1-Onevision, InternVL3.5)과 데이터셋(GQA, Visual Genome, EmbSpatial, VSR, SpatialSense)에 걸쳐 이미지 불일치 테스트 세트 및 개발 풀에서 평가되었습니다.

• GQA-Train900 (Frozen Test): 점수 산정 전 900개의 고유 이미지가 동결된 테스트 세트에서, SEER은 Full-image 베이스라인 대비 +3.94의 풀링된 이득(pooled gain)을 달却했습니다 (95% CI [2.17, 5.72]). 이 이득은 라벨 독립적 해시 카운터밸런싱 하에서도 (+2.56) 양수 값을 유지했습니다.
• 개발 풀 (GQA/VG): 41,544회의 평가 전반에 걸쳐, SEER은 8개 모델/데이터셋 조합 모두에서 성능을 개선했습니다. Full 대비 풀링된 이득은 +3.99였으며, 상호 일관성 정제는 Forward 결정 대비 추가로 +1.36의 이득을 더했습니다.
• EmbSpatial: 2,434개의 필터링된 쌍-관계 질문에서, SEER은 Qwen3-Instruct, Qwen3-Thinking, InternVL3.5를 각각 +4.35, +5.09, +11.79만큼 개선했습니다.
• 메커니즘 분석:
  • 국소적 재집중 (Local Refocus): Full에서 크롭 뷰(Crop)로 이동했을 때 +1.25의 이득이 발생했습니다.
  • 역할 조건화 (Role Conditioning): 크롭에 명시적 S/O 마커를 추가했을 때(Self-Marker) +1.64의 추가 이득이 발생했습니다.
  • 오라클 갭 (Oracle Gap): 정답 박스를 사용했을 때(Oracle-Marker) Self-Marker 대비 +6.17의 이득을 보였으며, 이는 국소화 품질 측면에서 상당한 여지(headroom)가 있음을 나타냅니다.
  • 강건성: 'on' 관계나 반복되는 엔티티 이름을 제거해도 이득이 지속되었으나, 관계 유형(예: 'inside'는 강한 이득, 'right-of'는 혼재된 결과)에 따라 성능은 달라졌습니다.
• 한계점: 이 방법은 상호 일관성이 덜 효과적인 이진 진리 판단(예: VSR, SpatialSense)에는 균일하게 전이되지 않습니다. 성능은 자기-근거화의 품질에 의해 제한됩니다. IoU가 완벽하지 않더라도 이득은 유지되지만, 성능은 국소화 품질에 영향을 받습니다.

의의 및 주장

본 논문은 명시적 증거 구축이 동결된 VLM의 공간 추론을 개선하는 주요 개입책이라고 주장합니다. 쿼리 특화된 위치와 역할을 공동으로 검사 가능하게 함으로써, SEER은 잘못된 인스턴스에 주의를 기울이거나 언어적 사전 지식에 의존함으로써 발생하는 실패를 완화합니다.

• 추론보다 증거: 결과는 고급 추론 체크포인트조차 더 나은 시각적 증거 인터페이스를 통해 크게 개선될 수 있음을 시사하며, "공간적 답변은 오직 그 입력 증거만큼만 신뢰할 수 있다"는 점을 확립합니다.
• 학습이 필요 없는 효율성: SEER은 학습 없이 고정된 규칙과 동결된 VLM을 사용하여 이러한 이득을 달성합니다. 단일 Full 점수 대비 약 7.12배의 계산 비용이 발생하지만, 저자들은 적응형 게이팅(adaptive gating)을 통해 약 2.57배의 비용으로 이득의 약 81%를 유지할 수 있다고 언급합니다.
• 겸손함: 저자들은 SEER이 정확한 그라운딩의 인증서가 아니라 증거 인터페이스임을 명시합니다. 개선 사항이 완벽한 인스턴스 복구를 의미하는 것은 아니며, 방법론은 국소적 외형과 2D 레이아웃의 가시성에 의해 여전히 제한됩니다. 상호 일관성 정제는 보편적인 해결책이라기보다 "작은 프로토콜 특화적 정제"로 설명됩니다.

결론적으로, SEER은 시각적 증거 상태를 제어하는 것(특히 대상-관계-은별 자기-근거화와 역할-명시적 조건화를 통해)이 VLM의 공간 관계 실패를 유의미하게 복구할 수 있음을 입증하며, 모델 재학습이나 외부 탐지 도구에 대한 강력하고 학습이 필요 없는 대안을 제시합니다.