💬 NLP

The Abstraction Gap in Vision-Language Causal Reasoning

본 논문은 대부분의 비전-언어 모델이 언어적으로 그럴듯하지만 인과적으로 부정한 설명을 생성하는 중요한 "추상화 격차"를 드러내기 위해 CAGE 벤치마크와 이중 프로브 방법론을 소개하며, 특정 아키텍처에는 충실한 추론 능력이 존재하지만 표준 파인튜닝을 통해는 이를 신뢰할 수 있게 달성하지 못함을 보여줍니다.

원저자: Chinh Hoang, Mohammad Rashedul Hasan

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chinh Hoang, Mohammad Rashedul Hasan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"시각-언어 인과 추론에서의 추상화 격차"라는 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 정리합니다.

핵심 아이디어: 말로만 하는 것과 실제로 하는 것

취업 면접을 보러 온 학생을 상상해 보세요. "비가 오기 시작하면 피크닉에 무슨 일이 생기나요?"라고 물었습니다.

학생은 매끄럽게 대답합니다. "글쎄요, 비가 오면 피크닉은 젖고, 음식은 상하며, 모두 대피할 겁니다. 완전한 재앙이죠!"

당신은 감탄합니다. 똑똑하고 논리적이며 유창하게 들립니다. 하지만 그다음에 화이트보드에 그 이유를 보여주는 간단한 흐름도를 그려달라고 요청하자, 학생은 얼어붙습니다. '비'에서 '젖은 땅'으로, 그리고 '상한 음식'으로 이어지는 화살표를 그릴 수 없습니다. 그들은 단어는 알지만, 상황의 실제 메커니즘은 이해하지 못합니다.

이 논문은 현재의 AI 모델 (시각 - 언어 모델 또는 VLM) 이 정확히 저 학생과 같다고 주장합니다. 그들은 이미지 속 인과관계에 대해 아름답고 설득력 있는 이야기를 생성할 수는 있지만, 그들의 추론이 가진 실제 '골격'을 보여달라고 하면 종종 실패합니다.

문제: '추상화 격차'

연구자들은 이 단절을 **추상화 격차 (Abstraction Gap)**라고 부릅니다. 이는 다음 두 가지 사이의 거리를 의미합니다:

신빙성: 답변이 얼마나 잘 들리는가 (언어적 유창성).
충실성: 답변이 모델의 실제 내부 추론을 얼마나 정확하게 반영하는가 (구조적 이해).

이 논문은 대부분의 AI 모델에 대해 "잘 들리는" 점수는 높지만, "구조를 이해하는" 점수는 거의 제로에 가깝다고 주장합니다.

실험: CAGE (인과 운동장)

이를 테스트하기 위해 저자들은 **CAGE (인과 추상화 격차 평가)**라는 새로운 운동장을 구축했습니다. 그들은 해변, 공원, 거리와 같은 5,500 장의 실제 사진을 가져와 유명한 '인과의 사다리'에 기반한 세 가지 유형의 질문을 AI 에게 물었습니다.

1 단계 (관찰): "우산의 색깔은 무엇인가요?" (쉬움, 단순 관찰).
2 단계 (변화): "산에서 강한 바람이 불면 우산에 무슨 일이 생기나요?" (가정적 행동).
3 단계 (상상): "이 사진이 조용한 날이 아닌 바쁜 휴일에 찍혔다면, 장면은 어떻게 다르게 보일까요?" (반사실적).

반전:
어려운 질문 (2 단계와 3 단계) 에 대해 연구자들은 AI 에게 다음 두 가지를 순서대로 수행하도록 강요했습니다.

첫째: 간단한 화살표를 사용하여 '인과 사슬'을 작성합니다 (예: 강한 바람 → 우산에 가해지는 힘 → 우산 떨어짐).
둘째: 전체 문장 설명을 작성합니다.

결과: '마술'이 실패하다

결과는 충격적이었습니다.

텍스트만 있는 테스트: AI 에게 문장만 쓰게 했을 때, 점수는 매우 높았습니다 (10 점 만점에 약 7~8 점). 천재처럼 들렸습니다.
사슬 - 텍스트 테스트: AI 에게 먼저 화살표 다이어그램을 그리게 했을 때, 점수는 폭락했습니다. 대부분의 모델이 10 점 만점에 2.5 점 미만을 받았습니다. 많은 모델이 빈 답변이나 망상적인 내용을 내놓았습니다.

비유:
AI 를 앵무새라고 생각하세요. 앵무새는 훈련 데이터에서 수백만 번 들었던 "바람이 우산을 날려보낸다"라는 문구를 외웠습니다. 그 문구를 완벽하게 말할 수 있습니다. 하지만 바람이 어떻게 우산을 밀어내는지 그 물리학을 설명해 달라고 하면, 앵무새는 전혀 모릅니다. 그것은 추론의 소리를 흉내 낼 뿐, 실제로 추론을 하는 것이 아닙니다.

'마법' 같은 모델

흥미롭게도 한 모델 (LLaVA-NeXT) 은 이 격차를 메우는 데 성공했습니다. 이 모델은 높은 점수로 화살표 사슬과 문장을 모두 작성할 수 있었습니다. 이는 기술적으로 가능하다는 것을 증명합니다. 단지 대부분의 다른 모델들이 아직 그 방법을 배우지 못했을 뿐입니다.

왜 단순히 '가르칠' 수 없을까요?

연구자들은 45,000 개의 올바른 화살표 사슬이 포함된 예시들로 나쁜 모델들을 '파인튜닝 (재훈련)'하여 문제를 해결하려 했습니다. 이것이 모델들에게 구조적으로 생각하는 법을 가르쳐 줄 것이라고 기대했습니다.

결과: 작동하지 않았습니다.

모델들은 문장 작성에는 약간 나아졌습니다.
하지만 화살표 사슬을 그리는 능력은 나아지지 않았습니다. 오히려 일부 모델의 경우, 사슬을 배우게 강요하는 것이 모든 면에서 더 나빠지게 만들었습니다.

비유:
강아지에게 체스판 사진을 보여주며 "폰을 움직여라"라고 말하며 체스를 가르치려 한다고 상상해 보세요. 강아지는 보드에 짖는 법 (언어 모방) 은 배울 수 있지만, 게임의 규칙 (구조) 은 실제로 배우지 못합니다. 모델의 뇌가 그 유형의 논리를 처리하도록 설계되지 않았다면, 더 많은 예시를 보여주는 것만으로 새로운 유형의 사고를 강요할 수는 없습니다.

'두 개의 뇌' 발견

이 논문은 또한 '환각' (AI 가 이미지 속에 없는 것을 만들어내는 현상) 에 대해 이상한 점을 발견했습니다.

일부 모델은 사물에 대해 거짓말을 하지 않는 데는 뛰어납니다 (예: 고양이가 없는데 고양이가 있다고 말하지 않음).
하지만 이러한 동일한 모델들은 관계를 이해하는 데는 끔찍합니다 (예: 바람이 우산을 쓰러뜨린다는 사실을 파악하지 못함).

이는 마치 두 개의 분리된 뇌를 가진 사람과 같습니다:

뇌 A는 사물을 찾는 데 뛰어납니다 (공이 있나요? 예/아니오).
뇌 B는 사물들이 어떻게 상호작용하는지 이해하는 데 끔찍합니다 (내가 공을 차면 굴러갑니다).
뇌 A 를 훈련시키는 것이 뇌 B 를 도와주지 않으며, 그 반대도 마찬가지입니다.

결론

이 논문은 유창한 언어가 이해의 증거가 아님을 결론지었습니다. AI 가 인과관계에 대해 설득력 있는 이야기를 쓸 수 있다고 해서, 그것이 실제로 세상을 이해한다는 뜻은 아닙니다.

격차: 똑똑하게 들리는 것과 실제로 똑똑한 것 사이에는 거대한 격차가 있습니다.
원인: 현재의 AI 훈련은 AI 가 인간처럼 들리게 하는 것 (유창성) 에 너무 집중하고, 논리적 구조를 구축하게 하는 것 (추론) 에는 너무 소홀합니다.
미래: 중요한 작업에 대해 정말로 신뢰할 수 있는 AI 를 얻으려면, 단순히 '답변'을 요구하는 것을 멈추고 AI 가 답변을 주기 전에 '작업 과정' (인과 사슬) 을 보여달라고 요구해야 합니다. 만약 작업 과정을 보여줄 수 없다면, 아마도 그 답을 모를 것입니다.

기술 요약: 비전-언어 인과 추론의 추상화 격차

문제 제기

비전-언어 모델 (VLM) 은 시각적 시나리오에 대해 유창하고 문맥에 적합한 인과적 설명을 생성하는 데 놀라운 능력을 보여왔습니다. 그러나 중요한 불확실성이 남아 있습니다: 이러한 모델이 인과 메커니즘에 대한 진정한 구조적 이해를 가지고 있는지, 아니면 단순히 통계적 패턴 매칭을 통해 언어적으로 그럴듯한 텍스트를 생성하는 것일까요? 현재의 평가 방법들은 종종 타당성(인간의 신뢰를 불러일으키는 언어적 유창성) 과 충실성(모델의 내부 추론 과정을 정확하게 반영하는 것) 을 구분하지 못합니다. 이 격차는 의료 영상 및 자율 주행과 같은 고위험 분야에서 심각한 위험을 초래합니다. 여기서 의사결정 그 자체만큼이나 그 의사결정 뒤에 있는 추론을 이해하는 것이 중요하기 때문입니다. 최근 벤치마크들은 VLM 이 사전에 제공된 후보들로부터 유효한 인과 체인을 선택하는 능력을 테스트했지만, 모델이 이러한 구조를 독립적으로 생성할 수 있는 능력을 평가하지는 못했습니다.

방법론

이를 해결하기 위해 저자들은 언어적 유창성과 구조적 추상을 분리하기 위해 설계된 이중 프로브 평가 프레임워크를 도입했습니다. 이 프레임워크는 주데아 펄의 인과 사다리에 의존하여 질문을 세 가지 수준으로 분류합니다:

1 단계 (연관성): 상관관계를 관찰합니다.
2 단계 (개입): 가상의 행동이 미치는 효과에 대해 추론합니다.
3 단계 (반事实): 관찰된 현실과 모순되는 대안적 시나리오를 상상합니다.

이 방법론은 두 가지 명확한 프로브를 사용합니다:

텍스트 전용 프로브: 구조적 제약 없이 표준 텍스트 응답을 평가하여 타당성을 측정합니다.
체인 - 텍스트 프로브: 모델이 텍스트 설명을 제공하기 전에 명시적이고 경량의 인과 체인 (예: $A \rightarrow B \rightarrow C$ ) 을 먼저 생성하도록 요구함으로써 충실성을 측정합니다. 이 순서는 구조 - 표현의 인지적 순서를 반영하며, 진정한 인과적 이해는 이를 언어화하기 전에 구조적 표현을 구성해야 한다는 가설을 뒷받침합니다.

저자들은 이 두 가지 능력 간의 차이를 정량화하기 위해 추상화 격차 (AG) 지표를 정의했습니다:
$AG_\ell(M) = \frac{E[T(M, d)] - E[C(M, d)]}{E[T(M, d)]}$
여기서 $T$ 와 $C$ 는 각각 텍스트 생성과 체인 생성에 대한 점수를 나타냅니다. 높은 AG 는 모델이 유창한 텍스트를 생성하지만 유효한 구조적 표현을 생성하지 못함을 나타냅니다.

평가에는 펄의 계층 구조의 세 가지 수준을 모두 포괄하고, 실제 세계 COCO 이미지 5,500 장에 걸쳐 49,500 개의 개방형 질문으로 구성된 새로운 벤치마크인 **CAGE(인과 추상화 격차 평가)**가 수행되었습니다. CAGE 는 지지대 없이 생성을 요구합니다. 이 연구는 GPT-4o 와 Claude 3.5 Sonnet 을 활용한 다중 판정자 프레임워크와 인간 검증을 통해 신뢰성을 확보한 방식으로 여덟 개의 오픈 소스 VLM 을 평가했습니다.

주요 기여

CAGE 벤치마크: 펄의 세 가지 인과 수준 전반에 걸쳐 실제 세계 이미지를 기반으로 명시적 구조 출력 (인과 체인) 생성을 요구하는 최초의 대규모 시각적 인과 추론 벤치마크입니다.
이중 프로브 평가 프레임워크: 다중 판정자 평가와 인간 일치 연구를 통해 검증된, 추상화 능력을 언어적 유창성에서 분리하는 방법론입니다.
추상화 격차 발견: 대부분의 현재 VLM 에서 언어적 유창성과 구조적 추론 사이에 심각한 격차가 있음을 체계적으로 규명한 평가 결과입니다.
학습 프레임워크 분석: 45,000 개의 체인 주석 예제에 대한 미세 조정을 통한 명시적 체인 감독이 낮은 베이스라인 성능을 가진 모델들의 격차를 해소하지 못한다는 실험 결과로, 사전 학습 중에 부재한 경우 구조적 추상화 능력은 표준 미세 조정을 통해 쉽게 주입되지 않음을 시사합니다.

주요 결과

심각한 추상화 격차: 평가된 여덟 개의 VLM 중 일곱 개가 0.50 을 초과하는 AG 를 보였습니다. 이러한 모델들은 높은 텍스트 점수 (6~8/10) 를 달성했지만, 체인 생성 점수는 2.5/10 미만으로 기록했습니다. 예를 들어, CogVLM2 는 3 단계 텍스트 점수에서 8.11 을 기록했지만 체인 생성에서는 1.37 에 그쳤습니다.
LLaVA-NeXT 예외: LLaVA-NeXT 라는 한 모델은 거의 0 에 가까운 AG(0.03) 를 달성하여, 충실한 인과 체인 생성 능력이 현재 VLM 아키텍처 내에 존재하며 특정 사전 학습 및 아키텍처 선택에 달려 있음을 보여주었습니다.
미세 조정의 한계: 45,000 개의 체인 주석 예제에 대한 미세 조정은 MiniGPT-4 및 mPLUG-Owl2 와 같이 낮은 베이스라인 성능을 가진 모델들의 격차를 해소하지 못했습니다. 어떤 경우에는 미세 조정이 체인 생성 성능을 저하시키거나 빈출력을 증가시켰습니다. 반면, 일부 초기 구조적 능력을 가진 모델 (예: Qwen-VL-Chat) 은 개선을 보였으며, 이는 미세 조정이 기존 능력을 활성화할 수는 있지만 처음부터 창출할 수는 없다는 가설을 지지합니다.
그라운딩의 독립성: 이 연구는 지각적 그라운딩(객체 환각 방지) 과 구조적 그라운딩(인과 추상화) 이 독립적인 능력임을 발견했습니다. 인과 체인에 대한 미세 조정은 환각율에 영향을 미치지 않았으며, 환각 완화를 위해 학습된 모델 (예: LLaVA-RLHF) 도 여전히 심각한 AG 를 보였습니다.
최근 모델 성능: 최근 모델에 대한 평가 결과, Qwen3-VL 과 같은 오픈 소스 모델은 여전히 중간 정도의 격차 (AG = 0.313) 를 보이지만, 폐쇄 소스인 Gemini 2.5 Flash 는 거의 0 에 가까운 AG(-0.006) 를 달성하여 희소 혼합 전문가 (sparse mixture-of-experts) 와 같은 아키텍처 선택이 구조적 생성 능력을 보존하는 데 도움이 될 수 있음을 시사합니다.

중요성과 주장

이 논문은 추상화 격차가 현재 VLM 의 근본적인 구조적 결함을 드러낸다고 주장합니다: 언어적으로 그럴듯한 인과적 설명을 생성하는 능력이 인과 구조를 표현할 수 있는 능력을 의미하지는 않는다는 것입니다. 이 발견은 설명 가능한 AI 에서 타당성과 충실성 사이의 구분에 대한 경험적 근거를 제공합니다.

저자들은 검증 - 생성 비대칭성(모델이 체인 선택에서는 잘 수행하지만 생성에서는 poorly 수행함) 이 표준 객관식 평가가 VLM 추론 능력을 과대평가할 수 있음을 나타낸다고 주장합니다. 또한, 지각적 그라운딩과 구조적 그라운딩의 독립성은 한 형태의 신뢰성 (예: 환각 감소) 을 대상으로 하는 개입이 다른 형태로 전이된다고 가정해서는 안 된다는 것을 의미합니다.

이 연구는 추상화 격차가 VLM 아키텍처의 불가피한 속성이 아니라 학습 절차 및 정렬 방법에 의해 영향을 받는다고 결론지었습니다. 구체적으로, 유창한 텍스트를 위한 RLHF 최적화는 밀집 아키텍처에서 구조적 출력을 억제할 수 있는 반면, MoE(전문가 혼합) 와 같은 아키텍처는 언어 처리와 구조적 추론 사이의 분리를 더 잘 보존할 수 있습니다. CAGE 벤치마크는 고위험 응용 분야에서 VLM 을 배포하기 전에 충실한 인과 추론을 평가하기 위한 진단 도구로 공개되었습니다.