StemBind: When MLLMs Get Lost Between Rules and Instances in Abstract Visual Reasoning

기술 요약: STEMBIND

문제 정의

멀티모달 거대 언어 모델(MLLM)은 추상 시각 추론(Abstract Visual Reasoning, AVR) 과업에서 특정한 실패 모드를 빈번하게 보입니다. 즉, 시각적 요소들을 올바르게 인지하고 기저에 깔린 논리적 규칙을 식별할 수는 있지만, 그 규칙을 올바른 후보 답안에 결합(binding)하는 데 실패합니다. 기존의 AVR 벤치마크들은 인지, 규칙 유도, 답안 선택을 하나의 이진 신호(정답/오답)로 붕괴시켜 놓았기 때문에, 모델이 이미지를 보지 못한 것인지, 규칙을 추론하지 못한 것인지, 아니면 특정 인스턴스에 규칙을 적용하는 데 실패한 것인지를 구분할 수 없습니다. 결과적으로 현재의 평가 방식으로는 "결합 격차(binding gap)"—즉, 규칙을 아는 것과 이를 특정 시각적 줄기(stem)에 실행하는 것 사이의 단절—를 분리해낼 수 없습니다.

방법론: STEMBIND 벤치마크

이를 해결하기 위해 저자들은 동일한 시각적 증거 위에서 추론 실패 지점을 국소화하도록 설계된 공유 줄기 진단 벤치마크인 STEMBIND를 도입합니다.

1. 공유 줄기 진단 설계 (Shared-Stem Diagnostic Design)

하위 질문들이 서로 다른 이미지에 배치되는 전통적인 벤치마크와 달리, STEMBIND는 **동일한 시각적 줄기(visual stem)**에 대해 정렬된 세 가지 질문을 던집니다:

• 인지 (Perception, P): "이미지에 무엇이 있는가?" (시각적 인코딩 검증).
• 규칙 (Rule, R): "어떤 패턴이 이를 지배하는가?" (규칙 유도 검증).
• 전체 (Full, F): "어느 옵션이 이를 완성하는가?" (표준 AVR 과업).

이러한 설계는 최종 답안 오류(F-wrong)를 특정 원인으로 귀속시키는 것을 가능하게 합니다:

• 보지 못함 (Can't See): P가 틀림.
• 추론하지 못함 (Can't Reason): P는 맞지만, R이 틀림.
• 결합하지 못함 (Can't Bind): P와 R은 맞지만, F가 틀림.

2. 분류 및 규모 (Taxonomy and Scale)

본 벤치마크는 9가지 감사 가능한 시각적 연산에 걸쳐 큐레이션된 **2,298개의 지식 경량화 줄기(knowledge-light stems)**를 포함하며, 이는 두 가지 패밀리로 나뉩니다:

• 규칙 유도 (Rule-Induction, RI): 위치 변환, 스타일 지속, 속성 결합, 양적 진행, 관계 매핑.
• 시각 처리 (Visual-Processing, VP): 종이 접기, 관점 합성, 정신적 회전, 시각적 폐쇄.
  이 줄기들은 19,533개의 과업(P/R/F 프로브)으로 확장되며, 줄기당 평균 약 6.5개의 인지 프로브를 가집니다.

3. 프로세스 주석 (S1–S4)

각 전체(F) 항목은 Sternberg의 구성 성분 이론(componential theory)에 기반하여 네 가지 추론 단계로 주석이 달립니다:

• S1 인코딩 (Encode): 장면 그래프 구축.
• S2 추론 (Infer): 규칙 집합 도출.
• S3 매핑 (Map): 패널 간 정렬 (규칙을 인스턴스에 결합).
• S4 적용 (Apply): 타겟 예측.

4. 평가 프로토콜

저자들은 단계별 자극 증강 (Stage-wise Stimulus Augmentation, SSA) 프로토콜을 사용합니다. 이는 검증된 단계별 콘텐츠(예: 모델에게 올바른 S1 또는 S2 출력 제공)를 점진적으로 주입하여, 어떤 특정 단계의 정보가 실패한 항목을 복구하는지를 테스트하는 과정입니다. 이를 통해 주요 실패 지점을 행동론적으로 국소화할 수 있습니다.

주요 결과

저자들은 24개의 프런티어 MLLM 구성(GPT-5.4, Claude-Opus-4.7과 같은 독점 모델 및 Qwen3.5, InternVL3.5, Gemma 4와 같은 오픈 소스 제품군 포함)을 평가했습니다. 평가는 네 가지 주요 결과를 도출했습니다:

1. R–F 간극 (The R–F Chasm)

24개 모델 중 22개 모델에서 규칙 정확도(R)가 전체 항목 정확도(F)를 유의미하게 상회했습니다. 이 격차는 종종 20~34 퍼센트 포인트에 달합니다. 예를 들어, Qwen3.5-27B의 경우 R 정확도는 65.4%인 반면 F 정확도는 41.3%에 불과합니다. 이는 대부분의 실패가 규칙을 성공적으로 식별한 이후에 발생함을 나타냅니다.

2. 지속적인 결합 격차 (The Persistent Binding Gap)

모델이 인지(P)와 규칙(R)을 모두 올바르게 답변한 엄격한 하위 집합의 줄기에서도, 여전히 전체 항목(F)을 51.2%의 확률로 틀리게 답변했습니다. 이 "결합 격차"(BG = 0.51)는 모델 제품군과 크기에 관계없이 지속되며, 이는 추론된 규칙을 특정 시각적 후보에 매핑하는 근본적인 능력의 부재를 시사합니다.

3. S3 병목 현상 (The S3 Bottleneck)

프로세스 진단과 SSA 개입을 통해 주요 실패 지점이 **S3 (Map)**임을 국소화했습니다.

• 단계별 판정 (Stage-wise Judging): S3 정확도는 네 단계 중 일관되게 가장 낮았습니다 (Qwen3.5의 평균 StepAcc ~30.5%). 이는 S1, S2, S4보다 현저히 낮은 수치입니다.
• SSA 이득 (SSA Gains): 가장 큰 성능 향상은 S3 정렬 정보가 주입되었을 때(H2→H3 전이) 발생했으며, 이는 "규칙-인스턴스 매핑" 단계가 주요 병목임을 확인해 줍니다.

4. 스케일링과 사고(Thinking)의 한계

• 스케일링 (Scaling): 모델 크기를 키우는 것(예: Qwen3.5 제품군 내)은 인지 및 규칙 정확도를 개선하지만, F 측면의 결합 격차를 신뢰성 있게 좁히지는 못합니다. 일부 사례(예: Qwen3.5-122B MoE)에서는 스케일링이 오히려 규칙 정확도의 붕괴를 초래하기도 합니다.
• 사고 모드 (Thinking Mode): 명시적인 "사고(thinking)" 모드(Chain-of-Thought)를 활성화하는 것은 모든 테스트 모델에서 인지 정확도는 높일 수 있으나, 일반적으로 규칙 및 전체 항목 정확도를 낮춥니다. 긴 추론 궤적은 결합에 필요한 슬롯 수준의 대응 관계를 방해하는 것으로 보입니다.

의의 및 기여

본 논문은 AVR 평가를 "최종 답안 순위 매기기"에서 "어디서 추상적 시각 추론이 무너지는지를 찾아내는 진단 도구"로 재정의합니다.

1. 진단 도구: STEMBIND는 동일한 시각적 줄기에서 인지, 규칙, 전체 항목 해결을 조사하는 최초의 벤치마크로, 결합 실패 모드를 분리해 낼 수 있게 합니다.
2. 프로세스 인식 귀속 (Process-Aware Attribution): 공유 줄기 프로브를 S1–S4 주석 및 SSA 개입과 결합함으로써, 저자들은 오류를 블랙박스로 취급하는 대신 특정 하위 단계로 귀속시킬 수 있는 프로토콜을 제공합니다.
3. 경험적 진단: 본 연구는 규칙-인스턴스 결합을 현재의 프런티어 MLLM이 가진 구체적이고 지배적인 실패 모드로 식별하였으며, 이는 인지나 규칙 유도의 결함과는 구별됩니다.
4. 일반적인 해결책에 대한 반증: 본 연구는 단순히 모델 파라미터를 늘리거나 명시적인 사고 모드를 활성화하는 것이 결합 격차를 해결하지 못한다는 경험적 증거를 제공하며, 이는 미래의 시각 기반 추론 발전이 매핑 단계를 위한 표적화된 구조적 또는 학습적 개입을 필요로 함을 시사합니다.

저자들은 AVR에서 MLLM의 주요 과제는 이미지를 보는 것이나 규칙을 찾는 것이 아니라, 알려진 규칙을 올바른 시각적 인스턴스에 결합하는 것이라고 결론짓습니다.