기술 요약: AI 모델은 여러 양상(Modality)에 걸쳐 인간과 유사한 추상적 추론을 수행하는가?

문제 제념

OpenAI의 o3-preview 모델이 최근 추상 및 추론 코퍼스(ARC) 벤치마크에서 인간의 정확도를 넘어섰으나, 이 모델들이 벤치마크 설계자가 의도한 인간과 유사한 추상적 추론 능력을 갖추었는지는 여전히 불분명하다. ARC 작업에서의 높은 정확도는 일반화 가능한 핵심 지식 사전(예: 객체성, 공간 관계)을 파악하기보다는, 데이터 내의 의도하지 않은 상관관계(즉, '지름길/Shortcuts')를 이용한 결과일 수 있다. 또한, 기존의 평가는 그리드 작업을 텍스트 표현으로만 처리하는 데 거의 전적으로 의존해 왔기에, 최첨단 멀티모달 모델의 시각적 양상(Visual Modality)에서의 성능은 탐구되지 않은 상태로 남아 있다. 본 논문은 AI 모델이 벤치마크 설계자가 의도한 특정 추상 개념을 인식하고 이를 바탕으로 추론하는지, 아니면 표면적인 패턴에 의존하는지를 텍스트와 시각적 양상 모두에서 조사한다.

방법론

저자들은 여러 상용 및 오픈 웨이트 모델(OpenAI의 o3, o4-mini, Google의 Gemini 2.5 Pro, Anthropic의 Claude Sonnet 4 및 비-추론 베이스라인)을 ConceptARC 벤치마크를 통해 평가하였다. ConceptARC는 16가지 기본 공간 및 의미론적 개념(예: "안쪽 vs 바깥쪽", "위쪽 vs 아래쪽")을 중심으로 구성된 480개의 작업으로 이루어져 있다. 더 복잡한 ARC와 달리, ConceptARC 작업은 인간에게는 단순하게 설계되어 특정 추상 개념을 고립시킴으로써 추론 전략 분석을 용이하게 한다.

본 연구는 다각적인 평가 프레임워크를 채택하였다:

1. 양상(Modalities): 모델들은 텍스트(정수 행렬 표현)와 시각(이미지 입력) 양상 모두에서 테스트되었다.
2. 추론 노력 및 도구: 실험은 추론 노력(낮은 토큰 예산 vs 중간 토큰 예산)과 외부 Python 도구 사용 여부(활성화 vs 비활성화)를 변화시키며 진행되었다.
3. 이중 출력 평가: 각 작업에 대해 모델은 다음 두 가지를 생성해야 했다:
   • 출력 그리드(정수 행렬로 표현됨).
   • 변환 과정을 설명하는 자연어 규칙.
4. 규칙 분류: 생성된 규칙은 다음 세 가지 범주로 수동 분류되었다:
   • 정답-의도된 규칙(Correct-Intended): 벤치마크의 설계된 추상 개념과 일치하는 규칙(인간과 유사한 핵심 지식).
   • 정답-의도되지 않은 규칙(Correct-Unintended): 데모레이션(Demonstrations)에는 작동하여 올바른 출력을 생성하지만, 의도된 개념보다는 부수적인 패턴(예: 색상 코드 간의 수치적 관계)에 의존하는 규칙.
   • 오답(Incorrect): 변환을 설명하지 못하거나 잘못된 출력을 생성하는 규칙.
5. 인간 베이스라인: 인간의 성능은 참가자들이 출력 그리드와 규칙을 모두 제공한 Moskvichev 등(2023)의 미발표 데이터를 사용하여 평가되었다.

주요 결과

1. 정확도 vs 추론 품질

• 텍스트 양상: 텍스트 설정에서 가장 우수한 모델(중간 노력의 o3)은 ConceptARC에서 인간의 정확도(73%)를 넘어 약 77%의 정확도를 달 기록했다. 그러나 정확도만으로는 오해의 소지가 있었다. 텍스트 설정에서 o3의 정답 출력 중 약 **27%**는 정답-의도되지 않은 또는 오답 규칙에 기반한 것이었다. 반면, 인간의 정답 출력 중 이러한 지름길에 의존한 경우는 약 **8%**에 불과했다.
• 시각 양상: 시각 양상에서는 성능이 급격히 하락했다. Python 도구를 활성화했음에도 불구하고, 가장 우수한 모델(o3 중간 노력 + 도구 사용)은 약 29%의 정확도만을 기록하며 인간에 비해 크게 뒤처졌다.
• 규칙-그리드 정렬: 낮은 시각적 정확도에도 불구하고, 시각 양상에서 모델이 생성한 규칙의 상당 부분은 정답-의意도된 것이었다. 이는 모델이 추상적 개념은 성공적으로 식별했으나, 지각적 한계(예: 그리드 크기나 객체 위치 오인)로 인해 이를 올바르게 적용하는 데 실패했음을 나타낸다.

2. 도구 및 추론 노력의 영향

• 텍스트: 추론 노력이 증가할수록 정확도와 규칙의 정확성이 향상되었다. Python 도구는 이 양상에서 미미한 이점만을 제공했다.
• 시각: 추론 노력 자체는 큰 효과가 없었다. 그러나 Python 도구(특히 컴퓨터 비전 라이브 library)를 활성화했을 때 출력 정확도와 규칙 정확도 모두에서 상당한 개선이 나타났다. 이는 지각적 병목 현상이 시각 양상 실패의 주요 원인이었음을 시사하며, 추론 결함보다는 지각적 결함이 문제임을 보여준다.

3. 지름길(Shortcuts)의 본질

모델들은 다음과 같은 의도하지 않은 특징들에 자주 의존했다:

• 색상에 할당된 정수 코드 간의 수치적 관계(예: 공간적 위치 대신 색상 값에 따라 형상을 정렬).
• 테스트 그리드의 기저에 깔린 개념으로 일반화되지 않는 데모레이션 그리드 내의 부수적 패턴.
• "객체성(Objectness)"보다는 저수준의 픽셀 특징에 대한 집중.

주요 기여

1. 정확도를 넘어: 본 논문은 출력 정확도만을 평가하는 것이 텍스트 양상에서 AI의 능력을 (지름길 의존성을 무시함으로써) 과대평가하고, 시각 양상에서 (지각적 실패에도 불구하고 존재하는 올-바른 추상적 추론을 무시함으로써) AI의 능력을 과소평가함을 입증한다.
2. 규칙 수준의 분석: 자연어 규칙에 대한 수동 평가를 도입함으로써, 본 연구는 인간과 AI의 추론 전략 사이의 상당한 격차를 밝혀냈다. AI 모델은 높은 정확도를 달성하더라도 인간보다 표면적인 상관관계를 통해 과제를 해결할 가능성이 훨씬 높다.
3. 양상 간 불일치: 본 연구는 멀티모달 모델의 결정적인 단절을 강조한다. 모델은 시각적 작업에 대해 올바른 추상 규칙을 형성할 수 있지만, 지각적 오류로 인해 변환을 실행하는 데 실패할 수 있다.

의의 및 주장

저자들은 자신들의 연구 결과가 AI의 추상적 추론 능력에 대해 더 충실한 그림을 제공한다고 주장한다. 그들은 출력 정확도만을 우선시하는 현재의 벤치마크와 평가 지표가, 모델이 정말로 인간과 유사한 사전 지식을 사용하여 유추를 통해 추론하고 있는지를 포착하지 못한다고 주장한다.

본 논문은 AI 시스템이 인간과 같은 일반화를 달ano 설명 가능성을 달성하기 위해서는 "지름길"을 넘어 의도된 추상을 견고하게 파악해야 한다고 상정한다. 결과는 현재의 모델들이 추상적 개념을 식별하는 데는 유망함을 보여주지만, 특히 시각적 영역에서 이 개념을 일관되게 적용하는 데는 견고함이 부족하다는 것을 시사한다. 저자들은 인간과 유사한 추상 중심의 지능을 향한 미래의 진보가 출력 그리드(결과물)와 함께 생성된 규칙(과정)을 함께 평가하는 평가 방법이 필요하며, 잠재적으로 인간과 유사한 사전 지식을 명시적으로 포함하는 아키텍처나 학습 방법이 필요하다고 결론짓는다.