기술 요약: VLM은 어떻게 실패하는가? 구성적 VQA에서의 시각-연산 불일치

문제 정의

구성적 시각 질의응답(Compositional Visual Question Answering, VQA)은 객체 선택, 공간 관계 해소, 속성 검증과 같은 연쇄적인 추론 연산을 근거가 되는 시각적 증거를 바탕으로 실행할 것을 요구한다. 현대의 VLM들은 GQA와 같은 벤치마크에서 강력한 종합 정확도를 보고하지만, 이러한 성능은 체계적인 실패 패턴을 은폐한다. 모델들은 쉬운 연산에 대해서는 언어적 지름길(linguistic shortcuts)을 통해 성공하지만, 진정한 시각적 접지(visual grounding)와 다단계 추론이 필요한 작업에서는 실패하는 경우가 많다.

기존의 분석들은 주로 광범위한 실패 유형(예: 객체 환각)이나 교차 모달 정보 흐름에 집중해 왔으며, 어떻게 그리고 어디서 실패가 발생하는지에 대한 기계론적 이해는 부족하다. 특히, 서로 다른 구성적 연산들이 서로 다른 내부 계산 경로(예: 어텐션 메커니즘 vs. 피드포워드 네트워크)를 통해 실패하는지, 그리고 이러한 실패가 수행되는 특정 추론 연산과 어떻게 연관되는지는 여전히 불분명하다.

방법론

저자들은 특정 추론 연산과 관련된 내부 계산 경로를 기반으로 VLM의 실패를 분해하는 **연산 중심의 기계론적 프레임워크(Operation-centric mechanistic framework)**를 제안한다. 본 연구는 기능적 프로그램 주석과 장면 그래프(scene graphs)를 제공하는 GQA 데이터셋을 활용하여, 모든 시각 토큰을 일률적으로 제거하는 대신 각 추론 단계에 인과적으로 유의미한 특정 시각 토큰을 식별한다.

본 방법론은 Qwen2.5-VL-3B-Instruct 모델의 모든 36개 레이어에 적용되는 세 가지 상호 보완적인 인과적 개입(causal interventions)을 채택한다:

1. 인과적 평균 제거(Causal Mean Ablation): 특정 접지 토큰(대상 객체와 관련된)의 은닉 상태(hidden states)를 중립적인 베이스라인(모든 시각 토ке의 평균 활성화 값)으로 대체한다. 이는 대상 객체의 시각적 표현에 대한 총체적인 인과적 의존도를 측정한다.
2. 어텐션 녹아웃(Attention Knockout): 특정 레이어에서 정답 토큰으로부터 접지 객체 토큰으로 향하는 어텐션 가중치를 0으로 설정하여, **교차 토큰 어텐션 경로(cross-token attention pathway)**를 격리한다.
3. MLP 녹아웃(MLP Knockout): 특정 토큰 위치(객체 위치 또는 정답 위치)에서 피드포워드 네트워크(MLP)의 출력을 0으로 만들어, **토큰 내 피드포워드 경로(within-token feedforward pathway)**를 격리한다.

저자들은 **접지 강도(Grounding Strength)**를 정답의 로그 확률(log-probability)에 나타나는 평균 제거 시의 최대 저하량으로 정의한다. 또한, 정답과 오답 예측 간의 저하 차이를 정량화하기 위해 접지 특이성 이동(Grounding Specificity Shift, GSS)(Cohen's d)을 계산하며, 이를 실패 모드를 분류하는 주요 지표로 사용한다.

주요 기여

1. 연산 인지적 실패 분류 (Operation-Aware Failure Taxonomy)

본 논문은 시각적 접지 강도와 정답의 상관관계에 따라 기계론적으로 구별되는 네 가지 실패 모드를 식별한다:

• 접지 실패 (Grounding Failure): 정답이 오답보다 실질적으로 높은 접지 강도를 보일 때 발생한다. 모델이 대상 객체의 시각적 영역에 대한 인과적 의존성을 전혀 구축하지 못했음을 의미한다 (예: select 연산).
• 추론 실패 (Reasoning Failure): 관계가 역전될 때 발생한다. 즉, 오답이 정답보다 더 높은 접지 강도를 보이는 경우이다. 모델이 객체를 찾아내기는 하지만, 추상적인 관계 추론이 지배해야 하는 단계에서 시각적 표현에 과도하게 접지된다 (예: relate 연산).
• 속성 추출 실패 (Attribute Extraction Failure): 정답 여부와 상관없이 접지 강도가 높게 나타날 때 발생한다. 모델은 객체를 성공적으로 접지하지만, 접지된 표현을 정답으로 변환하는 최종 계산 단계에서 실패한다 (예: verify, query, exist).
• 언어 사전 지식 지배 실패 (Language Prior Dominance Failure): 정답과 오답 모두에서 접지 강도가 낮게 나타날 때 발생한다. 모델은 시각적 계산보다는 언어적 패턴과 세상에 대한 지식에 의존한다 (예: choose, filter).

2. 경로 해리 (Pathway Dissociation)

핵심적인 발견은 실패 모드에 따른 계산 경로의 해리이다:

• 접지 및 속성 추출 실패는 주로 **피드포워드 네트워크(MLP)**를 통한 경로를 따른다. select의 경우, 실패는 객체의 표현 처리 과정에 있으며, verify와 query의 경우, 잘 접지된 표현으로부터 올바른 속성을 추출하는 정답 위치 MLP의 능력에 문제가 있다.
• 추론 실패는 주로 **후기 레이어 어텐션(Late-Layer Attention)**을 통한 경로를 따른다. relate의 경우, 오류는 정답 토큰이 후기 레이어(28–35)에서 객체의 시각 토큰에 어텐션을 가하는 것에 의해 유발되며, 이는 추상적 관계 모델링 대신 시각적 콘텐츠에 과도하게 의존하고 있음을 나타낸다.

3. 교차 아키텍처 및 교차 벤치마크 검증

• VSR 벤치마크: 시각적 공간 추론(VSR) 벤치마크 검증을 통해, 공간 추론 오류가 정답 디코딩 단계가 아닌 객체 인코딩 단계의 MLP를 통해 매개됨을 확인했다(특히 바운딩 박스 토큰 처리 과정). 이는 공간 추론 실패를 속성 추출 실패와 구분 짓는다.
• LLaVA-1.5-7B 분석: 고정된 CLIP 인코더를 사용하는 LLaVA-1.5에 적용했을 때, 속성 추출 및 언어 사전 지식 실패 모드는 일관되게 유지되었다(아키텍처 독립적). 그러나 접지 및 추론 실패는 사라졌다. 이는 이러한 모드들이 **인코더 의존적(encoder-dependent)**임을 시사하며, 언어 모델이 시각적 정보를 처리할 수 있을 만큼 충분한 공간적 세밀함을 인코더가 보존할 때만 나타나는 현상임을 보여준다.

결과

• 접지 실패 (select): 접지 강도와 정답 사이의 강한 양의 상관관계를 보인다 ($d = +0.75$). 이 실패는 정답 위치의 MLP에 국한되어 있으며, 이는 객체 인식이 어텐션 라우팅보다는 토큰 내 변환에 의존함을 나타낸다.
• 추론 실패 (relate): 음의 상관관계($d = -0.17$)를 보이며, 오답이 객체의 시각 토큰에 더 많이 의존한다. 어텐션 녹아웃은 이 효과를 증폭시키며, 오류가 후기 레이어에 집중됨을 통해 모델이 추상적으로 추론해야 할 때 시각적 콘텐츠에 "과잉 접지"됨을 확인시켜 준다.
• 속성 추출 (verify, query, exist): 높은 절대적 접지 강도를 보이지만 어텐션 녹아웃 시 정답 여부에 대한 유의미한 변별력을 보이지 않는다. 실패는 verify의 경우 정답 위치의 MLP에, exist의 경우 객체 위치의 MLP에 국한되어 있어, 접지된 표현을 특정 속성으로 변환하는 과정의 붕괴를 나타낸다.
• 언어 사전 지식 (choose, filter): 무시할 만한 수준의 접지 강도와 경로 특이적 효과를 보이며, 이러한 연산들이 시각적 계산을 우회함을 확인한다.

의의

본 논문은 멀티미디어 추론에서 VLM의 신뢰성을 높이기 위한 표적 개선(targeted improvements)의 원칙적 토대를 제공한다고 주장한다. 다양한 실패 유형이 근본적으로 다른 교정 전략을 필요로 한다는 점을 입증함으로써, 본 연구는 '일률적인 해결책(one-size-fits-all)'에 반대한다. 구체적으로:

• 피드포워드 처리를 대상으로 하는 개입은 접지 및 속성 추출 오류에 필요하다.
• 어텐션 라우팅(특히 후기 레이어)을 대상으로 하는 개입은 추론 오류에 필요하다.
• 태스크 수준(아키텍처 독립적) 실패와 인코더 의존적 실패의 구분은 모델의 시각적 인코딩 능력에 따른 한계를 이해하기 위한 진단 프레임워크를 제공한다.

저자들은 본 연구의 기여가 특정 교정 개입을 제안하는 것이 아니라, VLM이 어떻게 실패하는지에 대한 기계론적 지도를 제공하는 진단적(diagnostic) 성격임을 강조한다. 이러한 세밀한 이해는 더 강력하고 신뢰할 수 있는 VLM을 개발하기 위한 필수 전제 조건으로 제시된다.