What's Missing in Vision-Language Models? Probing Their Struggles with Causal Order Reasoning

기술 요약: 시각-언어 모델(Vision-Language Models)에서 부족한 점은 무엇인가? 인과적 순서 추론에 대한 그들의 어려움 조사

문제 제기
시각적 질의응답(VQA) 및 객체 탐지와 같은 다운스트림 작업에서 시각-언어 모델(VLM)이 보여주는 인상적인 성능에도 불구하고, 시각적 입력 내의 인과 관계를 이해하고 추론하는 능력은 여전히 불분명합니다. 기존의 벤치마크들은 종종 인과 추론을 다른 유형의 추론과 혼동하거나, 모델이 진정한 인과적 이해 없이 정답에 도달하기 위해 객체 인식 및 활동 식별에 기반한 "지름길(shortcuts)"을 활용하도록 허용합니다. 결과적으로, 현재의 평가는 모델의 구체적인 인과 추론 능력을 격리하여 엄격하게 평가하지 못합니다. 또한, VLM이 유효한 인과 방향과 유효하지 않은 인과 방향(예: "비가 내리는 것이 여성이 우산을 쓰게 만든다"와 "우산을 쓰는 것이 비를 내리게 만든다"를 구분하는 것)을 구별할 수 있는지 여부도 알려져 있지 않습니다.

방법론
이러한 격차를 해결하기 위해, 저자들은 새로운 벤치마크, 통제된 평가 작업, 데이터 수준 분석 및 타겟 미세 조정 전략을 포함하는 포괄적인 프레임워크를 제안합니다.

1. 새로운 벤치마크 (VQA-Causal 및 VCR-Causal):
   저자들은 인과 추론을 격리하여 설계된 두 개의 새로운 데이터셋을 도입합니다.

• 구성: VQA 및 VCR의 검증 세트에서 파생되었으며, 각각 1,947개 및 3,511개의 인스턴스로 구성됩니다.
• 형식: 각 이미지는 12쌍의 캡션과 쌍을 이룹니다. 각 쌍 내에서 캡션은 인과적 순서(예: "사건 A는 사건 B에 의해 발생한다" vs "사건 B는 사건 A에 의해 발생한다")를 제외하고는 동일합니다.
• 인과 접속사: 모델이 구문적 순서 변화에 대한 민감도를 테스트하기 위해 12개의 뚜렷한 인과 접속사(예: is caused by, because, result in, lead to)를 사용합니다.
• 평가: 모델은 제로샷(zero-shot) 설정 하에서 평가됩니다. 지표는 모델이 잘못된 캡션보다 올바른 인과 캡션에 더 높은 매칭 점수를 부여하는 이미지의 비율을 측정합니다.

2. 통제된 평가 (객체 및 활동 이해 테스트):
   낮은 수준의 시각적 이해 부족이 인과 성능 저하의 원인인지 판단하기 위해, 저자들은 수정된 테스트 세트를 구축했습니다. 이 세트는 VQA-Causal과 동일한 이미지를 포함하지만, 인과 관계 대신 객체와 활동을 직접 설명하는 캡션과 쌍을 이룹니다. 이는 저수준 특징 인식을 고수준 추론으로부터 격리합니다.

3. 데이터 수준 분석:
   저자들은 대규모 학습 코퍼스(LAION-400M, MSCOCO) 및 벤치마크 데이터셋(VQA, VCR)에서 인과적 표현의 유병률을 조사했습니다. 그들은 잠재적인 학습 결핍을 설명하기 위해 명시적인 인과 용어의 빈도를 정량화했습니다.

4. 미세 조정 전략 (CausalCLIP):
   식별된 한계를 완화하기 위해, 저자들은 "하드 네거티브(hard negative)" 사례를 사용하는 미세 조정 접근 방식을 개발했습니다.

• 데이터: VQA 학습 세트에서 4,891개의 "Why" 질문을 추출하고, 인과 방향만 다른 캡션 쌍을 생성했습니다.
• 학습: CLIP 기반 아키텍처(NegCLIP)를 사용하여 대조 학습 목적 함수를 확장했습니다. 각 이미지에 대해, 모델이 올바른 인과 캡션을 잘못된 인과 순서 캡션(하드 네거티브) 및 기타 무작위 네거티브 캡션으로부터 구별하도록 학습됩니다.

주요 결과

• 성능 격차: 평가된 12개의 VLM(CLIP, BLIP, LLaVA, Qwen 변형 포함) 전반에 걸쳐 VQA-Causal 및 VCR-Causal에서의 성능은 저조했습니다. 12개 모델 중 10개가 무작위 추측(50%)보다 약간 높은 52% 이상의 정확도를 얻지 못했으며, 이는 인간의 성능(~98%)보다 현저히 낮습니다.
• 저수준 vs 고수준: 객체 및 활동 이해 테스트에서 모델은 강력한 성능(70–95% 정확도)을 보였으며, 이는 인과 추론의 실패가 객체나 활동을 인식하지 못해서가 아니라, 그것들 사이의 고수준 관계를 포착하는 데 실패했음을 확인시켜 줍니다.
• 데이터 희소성: 분석 결과, 학습 데이터에서 명시적인 인과 표현은 매우 드문 것으로 나타났습니다: LAION-400M에서는 약 0.08%, MSCOCO에서는 약 0.01%에 불과했습니다. 마찬가지로, VQA의 0.92%, VCR의 35.43%만이 인과 추론을 포함하며, VCR의 인과 질문 중 거의 절반은 객체/활동 지름길을 통해 해결 가능합니다.
• 미세 조정 효능: 미세 조정된 모델인 CausalCLIP은 상당한 개선을 보였습니다. 이 모델은 인도메인(in-domain) VQA-Causal 벤치마크에서 61.46%의 정확도를, 아웃도메인(out-of-domain) VCR-Causal 벤치마크에서 57.37%의 정확도를 달 기록했습니다. 결정적으로, 이러한 개선은 MSCOCO 및 Flickr30K에 대한 다운스트림 검색 성능을 저하시키지 않으면서 달성되었습니다.
• 구문 민감도: 모델은 인과 접속사에 따라 다양한 민감도를 보였습니다. 예를 들어, CLIP 변형들은 효과가 원인보다 앞설 때(예: is caused by) 더 잘 수행되었지만, 원인이 효과보다 앞설 때(예: result in)는 어려움을 겪었습니다.

의의 및 주장
본 논문은 기존 데이터셋의 "지름길" 취약성을 넘어, VLM의 인과 추론을 평가하기 위한 최초의 엄격하고 독립적인 벤치마크를 제공한다고 주장합니다. 저자들은 현재 VLM의 인과 추론에 대한 주요 제한 사항이 데이터 수준의 문제라고 주장합니다: 즉, 사전 학습 코퍼스 내의 명시적인 인과 표현의 희소성이 모델이 이러한 관계를 자연스럽게 학습하는 것을 방해한다는 것입니다.

본 연구는 VLM이 저수준 시각적 특징 인식에는 뛰어나지만, 견고한 인과 추론 능력은 부족하다는 것을 입증합니다. 그러나 저자들은 하드 네거티브 사례를 사용한 타겟 미세 조정이 일반화 성능과 다운스트림 성능을 유지하면서 인과 추론 능력을 향상시키는 데 효과적으로 간극을 메울 수 있음을 보여줍니다. 이 연구는 미래 연구를 위한 중요한 영역을 강조하며, 인과 이해를 해결하기 위해서는 아키텍처의 변화뿐만 아니라 학습 데이터 구성에 대한 재평가도 필요함을 시사합니다.