Inference-Time Structural Reasoning for Compositional Vision-Language Understanding

1. 연구 배경 및 문제 정의 (Problem)

• 핵심 문제: 최신 시각 - 언어 모델 (VLM) 은 이미지 - 텍스트 검색이나 캡션 생성에서는 뛰어난 성능을 보이지만, 구성적 추론 (Compositional Reasoning) 과 관계적 구조 (Relational Structure) 를 이해하는 데에는 여전히 한계가 있습니다.
• 구체적 사례: "개는 고양이를 쫓는다 (The dog is chasing the cat)"와 "고양이는 개를 쫓는다 (The cat is chasing the dog)"와 같이 단어는 동일하지만 주체 (Agent) 와 대상 (Patient) 의 역할이 뒤바뀐 문장들을 구별하지 못합니다.
• 배경: 기존 모델들은 주로 '단어 주머니 (Bag-of-Words)' 통계에 의존하여, 시각적 요소와 언어적 관계의 조합을 제대로 파악하지 못합니다. 이는 Winoground 벤치마크에서 모델들이 무작위 추측 수준 (Group Score 약 6.3%) 에 머무는 것으로 확인되었습니다.

2. 제안 방법론 (Methodology)

저자는 모델의 재학습 (Retraining) 없이 추론 시간 (Inference-Time) 에 구조적 정보를 주입하여 추론 능력을 향상시키는 통합 프레임워크를 제안합니다.

A. TextSceneGraphParser (텍스트 장면 그래프 파서)

• 기능: 입력된 캡션 텍스트를 spaCy 기반의 규칙형 파서를 사용하여 주어 - 관계 - 목적어 (SVO) 형태의 트리플 (Triple) 로 변환합니다.
• 처리 범위: 단순 SVO 구조뿐만 아니라 전치사구, 동사구, 존재문, 소유문 등 5 가지 구문 구조를 처리하여 구조적 관계를 추출합니다.

B. Graph Asymmetry Scorer (그래프 비대칭 점수기)

• 핵심 아이디어: 두 캡션 간의 구조적 차이를 정량화합니다. 특히 주체와 대상의 역할이 뒤바뀐 경우 (Agent-Patient Reversal) 를 감지하기 위해 최적 이분 매칭 (Optimal Bipartite Matching, Hungarian Algorithm) 을 사용합니다.
• 작동 원리: 추출된 트리플 간의 코사인 유사도를 계산하여, 관계가 반전되었을 때 점수 차이가 발생하도록 설계된 비대칭 점수 ($\Delta SG$) 를 산출합니다.

C. 아키텍처별 증강 전략

모델의 구조에 따라 구조적 정보를 주입하는 방식을 다르게 적용합니다:

1. Additive Augmentation (CLIP, BLIP, Qwen3): 추출된 그래프 점수를 기존 이미지 - 텍스트 유사도 점수에 가중치 ($\lambda$) 를 곱해 덧셈합니다.
2. Prompt Injection (LLaVA, Generative Models): 추출된 트리플을 프롬프트에 명시적으로 포함시켜, 모델이 주체 - 대상 구조에 주의를 기울이도록 지시합니다.

D. Multi-Turn SG Filtering (멀티 턴 SG 필터링) - 주요 제안

• 문제점: 추출된 모든 장면 그래프 (SG) 를 한 번에 주입하면 (Flat Injection), 파서 오류나 관련 없는 정보가 모델 성능을 저하시킬 수 있습니다.
• 해결책: 2 단계 추론 프로세스를 도입합니다.
  • 1 단계 (Turn 1): 모델이 시각적 근거를 바탕으로 캡션에서 시각적으로 관련 있는 트리플 서브셋을 선별 (Greedy Decoding) 합니다.
  • 2 단계 (Turn 2): 선별된 필터링된 트리플만을 사용하여 최종 매칭 (Yes/No) 결정을 내립니다.
• 효과: 이는 모델의 시각적 grounding 능력을 활용하여 노이즈를 제거하고, 구조적 일관성을 강화하는 '구조적 자기 일관성 (Structured Self-Consistency)' 메커니즘으로 작동합니다.

3. 주요 기여 (Key Contributions)

1. 통합 평가 프레임워크: CLIP, BLIP, LLaVA, Qwen3-VL-8B-Thinking 등 4 가지 아키텍처가 다른 VLM 을 Winoground 벤치마크에서 일관된 기준으로 평가.
2. TextSceneGraphParser: spaCy 기반의 정교한 파서로 5 가지 구문 구조를 처리하는 도구 개발.
3. 그래프 비대칭 스코어: 주체 - 대상 역할 반전을 타겟으로 하는 최적 이분 매칭 기반 점수기 제안.
4. 캡션 제거 (Ablation) 실험: 주체/목적어 마스킹 및 스왑 실험을 통해 모델이 개체 식별에 의존하는지, 관계 구문에 의존하는지 정량화.
5. 새로운 SOTA 달성: 재학습 없이 Multi-Turn SG 필터링 전략을 통해 66.0% 의 Group Score를 기록하여 기존 오픈소스 SOTA(SCRAMBLe, 54.8%) 를 상회.

4. 실험 결과 (Results)

• 성능 비교:

  • Qwen3-VL-8B-Thinking (Plain): 기존 인코더 기반 모델 (CLIP, BLIP) 을 크게 상회하는 62.8% 의 Group Score 달성.
  • Qwen3-VL + Multi-Turn SG: 66.0% 로 향상되어, 재학습이 필요한 기존 최선 방법 (SCRAMBLe-Molmo-7B, 54.8%) 을 11.2%p 이상 능가.
  • LLaVA: 단순 프롬프트 주입 (Flat Injection) 은 오히려 성능을 저하시켰음 (-7.3%p). 이는 모델이 명시된 엔티티에 과도하게 의존하여 시각적 추론을 억제하는 '과도한 명세 (Over-specification)' 실패 모드를 보임.
  • CLIP/BLIP: 구조적 증강 (SG) 이 기존 모델의 구성적 민감도가 부족하여 효과가 미미하거나 부정적임.

• Ablation Study:

  • Qwen3-VL 은 주체/목적어 스왑 시 가장 큰 성능 저하를 보임 (구성적 민감도가 높음).
  • 목적어 마스킹이 주체 마스킹보다 모델 성능에 더 치명적인 영향을 미침.

5. 의의 및 결론 (Significance & Conclusion)

• 능력 - 증강 트레이드오프 (Capability-Augmentation Tradeoff): 구조적 증강 (SG) 은 이미 시각적 grounding 능력이 충분한 모델 (Qwen3 등) 에서는 성능을 크게 향상시키지만, 기초 능력이 부족한 모델에는 효과가 없거나 역효과를 낼 수 있음.
• 재학습 불필요: 대규모 모델의 재학습 (Fine-tuning) 이나 선호도 최적화 (Preference Tuning) 없이도, 추론 시 구조적 추론을 유도함으로써 구성적 이해 능력을 획기적으로 개선할 수 있음을 증명.
• 진단 도구: 제안된 캡션 제거 (Ablation) 실험은 새로운 VLM 이 구조적 증강을 받을 수 있는지 예측하는 재사용 가능한 프로토콜로 활용 가능.
• 미래 방향: 시각적 장면 그래프와의 통합, 더 정교한 그래프 매칭 알고리즘, 그리고 다양한 언어적 현상 태그에 따른 증강 효과 분석 등을 향후 과제로 제시.

이 논문은 구조적 추론을 추론 시간 (Inference-Time) 에 효율적으로 통합함으로써, 구성적 비주얼 - 언어 이해의 한계를 극복하고 오픈소스 모델의 성능을 인간 수준에 근접하게 끌어올릴 수 있는 새로운 패러다임을 제시합니다.