기술 요약: ZendoWorld: 능동적 시각적 개념 유도를 향한 AI 에이전트의 도전

문제 정의

본 연구가 다루는 핵심 과제는 지능형 에이전트가 복잡한 시각적 입력을 공동으로 지각하고, 숨겨진 논리적 패턴에 대한 가설을 형성하며, 해당 가설을 검증하기 위한 정보가 풍부한 실험을 설계하는 능력이다. 최근의 AI 발전은 소수의 예시로부터의 귀납적 추론(예: ARC-AGI, 봉가르드 문제)이나 기호적 도메인에서의 능동적 실험에 집중해 왔으나, 기존 벤치마크들은 귀납을 주로 수동적인 일회성 과제로 취급하거나 시각적 접지(visual grounding)의 복잡성이 결여된 깨끗한 기호적 추상화에 의존한다. 따라서 에이전트가 현실적인 시각 환경 내에서 지각(원시 이미지를 해석함), 귀납(숨겨진 규칙을 추론함), 실험(불확실성을 줄이기 위해 새로운 데이터 포인트를 제안함)의 폐쇄 루프 내에서 작동해야 하는 능력을 평가하는 데 있어 중대한 격차가 존재한다.

방법론: ZendoWorld

저자들은 귀납적 논리 게임인 Zendo에서 영감을 받은 통제된 상호작용 벤치마크인 ZendoWorld를 소개한다. 이는 지각, 귀납, 실험을 단일 평가 루프로 통합한다.

환경 및 게임 설정

• 시각적 입력: 장면은 특정 속성(색상, 모양, 방향)과 공간 관계(접촉, 쌓임, 가리킴)를 가진 1~7개의 유색 기하학적 객체(블록, 웨지, 피라미드)로 구성된다. 이미지는 Blender-Prolog 파이프라인을 통해 절차적으로 생성되며, 약 $10^{18}$개의 조합 공간을 생성한다.
• 숨겨진 규칙: 각 에피소드는 Prolog 기반의 도메인 특화 언어(DSL)에서 추출된 잠재적 참-값 규칙 $r^*$에 의해 정의된다. 규칙은 1차(단일 속성 카운팅)에서 2차(패리티, 비교) 및 구성적(공간 관계 + 논리) 규칙까지 다양하다.
• 상호작용 루프:
  1. 초기화: 에이전트는 하나의 긍정적 시드 예시와 하나의 부정적 시드 예시를 받는다.
  2. 실험: 에이전트는 새로운 장면(구조화된 명세)을 제안하고 그 레이블을 예측한다. 환경은 참-값 레이블을 반환한다.
  3. 가설 귀납: 예측이 올바르면 에이전트는 규칙 가설을 제출할 수 있다. 예측이 맞으면 게임이 종료되고, 틀리면 반례가 공개되며 에이전트는 실험 단계로 돌아간다.
  4. 종료: 에피소드는 규칙 식별이 성공하거나 30개의 예시 예산이 소진될 때 종료된다.

평가 대상 에이전트

본 연구는 지각, 귀납, 실험의 병목 구간을 분리하기 위해 네 가지 서로 다른 에이전트 아키텍처를 평가한다:

1. 오라클 에이전트 (신경-기호적 상한선): 완벽한 지각을 위해 사전 학습된 비전 모델을 사용하고, 전체 DSL에 대해 프로그램 합성기(DeepSynth)를 사용한다. 최대의 변별력을 위해 휴리스틱 실험 선택을 채택한다.
2. VLM 에이전트 (엔드 투 엔드 신경망): DSL 접근 권한이나 명시적인 가설 탐색 없이 작동하는 시각-언어 모델(GPT-5-mini)이다. 규칙 귀납과 실험 선택 모두를 위해 프롬프팅에 의존한다.
3. 베이지안 에이전트 (LLM-SMC): 자연어 가설을 제안하기 위해 LLM을 사용하며, 실험 선택을 가이드하기 위해 순차 몬테카를로(SMC)를 통한 입자 기반 사후 확률을 유지한다.
4. 시각-언어 프로그램(VLP) 에이전트: VLM 기반의 개념 추출(이미지로부터 객체/속성 어휘 학습)과 일반 DSL에 대한 프로그램 합성을 결합한다.

평가 프로토콜

• 지표: 승률( $r^*$와의 논리적 동등성), 평균 턴 수, 레이블 정확도, 중간 가설의 구조적 F1 점수, 제안된 실험의 기대 정보 이득(EIG).
• 인간 베이스라인: 인간의 귀납적 추론 능력을 벤치마킹하기 위해 동일한 프로토콜을 수행하는 19명의 참가자 대상 연구를 진행했다.
• 절제 실험(Ablations): 지각 실패와 귀납 실패를 분리하기 위해 시각적 입력을 Prolog 설명으로 대체한 기호적 설정에서 실험을 수행했다.

주요 결과

1. 레이블 정확도가 규칙 회수를 보장하지 않음

주요 발견은 관찰된 예시에 대한 레이블 예측 정확도가 높다고 해서 반드시 기저의 규칙을 회수하는 것은 아니라는 점이다. 베이지안 에이전트는 비-오라클 에이전트 중 가장 높은 레이블 정확도(75.2%)를 기록했으나, 게임 해결률은 13.6%에 불과했다. 반면, VLM 에이전트는 더 낮은 레이블 정확도(56.7%)에도 불구하고 44.5%의 게임을 해결했다. 이러한 괴리는 올바른 분류가 생성 규칙에 대한 이해 없이 패턴 매칭을 통해 달성될 수 있음을 시사한다.

2. 지각과 귀납은 별개의 병목 구간임

• 지각: 시각적 입력을 제거(기호적 설정)했을 때 VLP 에이전트의 성능이 크게 향상(승률 166.5% 증가)되었으며, 이는 지각이 이 아키텍처의 주요 병목임을 나타낸다.
• 귀납: 기호적 설정에서 VLM과 베이지안 에이전트는 보다 완만한 상승을 보였는데, 이는 이들의 주요 실패 모드가 시각적 지각보다는 가설 형성 및 수정에 있음을 시사한다.
• 복잡도: 규칙 복잡도가 높아질수록 성능 격차가 벌어졌다. VLM 에이전트는 1차 규칙에서는 67.5%를 해결했으나, 2차 및 복잡한 규칙에서는 약 30%로 급락했다. 인간은 모든 복잡도에서 50% 이상의 승률을 유지했다.

3. VLM 에이전트는 능동적 실험에 실패함

VLM 기반 에이전트들은 일관되게 정보가 거의 없는 실험을 제안했으며, 약 10개의 예시 이후 기대 정보 이득(EIG)이 거의 0에 수렴했다. 이들은 불확실성을 줄이기 위해 가설 공간을 능동적으로 탐색하기보다 이전 관찰과 유사한 장면을 생성하는 경향을 보였다. 반면, 오라클 에이전트는 경쟁하는 가설들을 가장 잘 구별하는 실험을 선택함으로써 EIG를 극대화했다.

4. 인간 vs AI 비교

인간은 엔드 투 엔드 성공 측면에서 모든 AI 에이전트를 앞질렀다(인간 승률 73.3% vs 최상위 AI 에이전트 44.5%). 인간과 VLM 에이전트는 단순한 규칙에 대해 표면적인 오류 패턴을 공유했지만, 인간은 규칙 궤적에서 우수한 안정성을 보였으며 AI 에이전트가 성공하지 못한 복잡한 규칙 및 분포 외(OOD) 규칙을 성공적으로 회수했다. 특히, 10명의 인간 참가자 중 7명이 (DSL 외부의 논리를 요구하는) OOD 과제를 해결한 반면, 시각적 입력 상황에서 어떤 에이전트도 성공하지 못했다.

의의 및 주장

본 논문은 ZendoWorld가 지각, 귀납, 능동적 실험 사이의 상호작용을 격리함으로써 지능형 에이전트를 평가하는 결정적인 단계라고 주장한다. 저자들은 현재의 방법론들이 매우 전문화되어 있다고 주장한다: 일부는 레이블링에 뛰어나고, 일부는 구조화된 탐색에 뛰어나지만, 규칙에 대한 사전 지식 없이 전체 상호작용 루프를 신뢰성 있게 해결하는 시스템은 없다.

연구는 다음과 같은 구체적인 개선 방향을 제시한다:

• 아키텍처 통합: (모듈형 오라클 에이전트에서 보이는 것과 같은) 지각과 추론의 엄격한 분리는 불충분할 수 있다. 저자들은 인간과 유사한 개념적 사고가 지각과 추론의 상호 구성, 즉 가설이 시각적 주의를 유도하는 과정을 포함한다고 제안한다.
• 능동적 탐색: 미래의 시스템은 시각적 접지와 구조화되고 검증 가능한 가설, 그리고 단순한 과거 데이터와의 일관성을 넘어 정보 이득을 우선시하는 능동적 탐색 전략을 결합한 아키텍처를 필요로 한다.
• 평가 방식의 전환: 귀납적 추론 시스템을 단순히 예시 레이블링만으로 평가하는 것은 불충분하며, 정보가 풍부한 실험을 생성하고 기저의 생성 규칙을 회수하는 능력을 측정하는 지표를 갖추어야 한다.

결론적으로, 현재의 AI 능력과 인간 수준의 능동적 시각 규칙 학습 사이의 간극을 메우기 위해서는 수동적 추론과 고정된 지각 모듈을 넘어, 반복적인 가설 검증과 동적 특징 주의(dynamic feature attention)가 가능한 시스템으로 나아가야 한다.