기술 요약: 지각과 추론의 경계에 있는 봉가드(Bongard): 프로그램인가 언어인가?

문제 정의

본 논문은 1970년에 도입된 고전적인 100가지 소량 샘플 시각 추론 퍼즐인 **봉가드 문제(Bongards Problems, BPs)**를 해결하는 과제를 다룹니다. 각 문제는 12개의 이미지로 구성됩니다: 6개는 "양성(positive)" 개념을 나타내고, 나머지 6개는 "음성(negative)" 개념을 나타냅니다. 고정된 논리적 시퀀스에 의존하는 Raven's Progressive Matrices와 같은 작업과 달리, BP는 해결사가 새로운 시각적 특징을 즉석에서 지각하고, 두 범주를 구별하기 위해 새로운 지각적 프리미티브(perceptual primitives)를 유동적으로 정의할 것을 요구합니다. 핵심적인 어려움은 지각(예: "목", "오목함", "원형성"과 같은 특징 식별)과 추론(두 클래스를 분리하는 규칙 형성) 사이의 경계에 있습니다. 시각-언어 모델(VLMs)은 일상적인 시각 작업에는 뛰어나지만, BP에 필요한 급진적 일반화에는 어려움을 겪으며, 솔루션을 위해 필요한 정밀한 기하학적 또는 개념적 규칙을 합성하는 데 종종 실패합니다.

방법론

저자들은 고차원적 개념 추론을 수행하는 대규모 언어 모델(LLMs)과 프로그램 실행의 정밀함을 결합한 뉴로심볼릭(neurosymbolic) 접근 방식을 제안합니다. 이 시스템은 두 가지 주요 작업인 검증(Verification)(정답 규칙이 주어졌을 때 홀드아웃 이미지를 분류)과 솔루션(Solution)(처음부터 규칙을 생성)을 통해 작동합니다.

시스템 아키텍처

시스템은 **가설 생성기(Hypothesis Generator)**와 **검증기(Verifier)**라는 두 가지 주요 구성 요소로 이루어져 있습니다.

1. 가설 생성기:

   • VLM을 활용하여 후보 자연어 규칙을 생성합니다.
   • 다양성과 관련성을 높이기 위해, 생성기는 **검색 증강 생성(RAG)**을 사용합니다. 이전의 봉가드 문제들로부터 추출된 인컨텍스트 예시(데이터셋의 자연스러운 커리큘럼 활용)와 무작위 문제를 기반으로 규칙을 샘플링합니다.
   • 솔루션 작업의 경우, 생성기는 여러 후보 규칙을 생성하며, 검증 작업의 경우 정답 규칙을 입력으로 받습니다.

2. 검증기:

   • 검증기는 **프로그램 유도(Program Induction)**와 **전이(Transduction, Chain-of-Thought)**를 교대로 사용하는 하이브리드 전략을 사용하여 후보 규칙을 평가합니다.
   • 프로그램 유도: 주어진 규칙에 대해, VLM은 해당 규칙을 구현하는 매개변수화된 파이썬 프로그램(구체적으로 classify_image 메서드)을 합성하려고 시도합니다.
     • 매개변수화된 프로그램: LLM이 정확한 수치적 임계값(예: "길쭉함"과 "조밀함"을 정의하는 것)을 추측하기 어렵다는 점을 인식하여, 시스템은 특정 값들을 매개변수로 취급합니다.
     • 베이지안 최적화(Bayesian Optimization): 시스템은 훈련 예시에서 프로그램의 정확도를 극대화하는 매개변수 값을 찾기 위해 15단계의 베이지안 최적화를 수행합니다.
     • 스코어링: 프로그램이 훈련 세트에서 점수 $\ge 0.9$를 달성하면 수용됩니다. 여러 프로그램이 성공할 경우, 테스트 이미지에 대한 다수결 라벨이 출력이 됩니다.
   • 전이(CoT): 만약 어떤 프로그램도 요구되는 점수를 달ึง하지 못하면, 검증기는 훈련 예시와 제안된 규칙을 바탕으로 테스트 이미지를 직접 분류하도록 VLM에 프롬프팅하는 Chain-of-Thought 방식으로 전환됩니다.

실험 설정

• 모델: 연구는 GPT-4o와 Claude 3.7 Sonnet을 평가합니다.
• 작업:
  • 검증: 정답 규칙이 주어졌을 때 이미지를 분류합니다.
  • 솔루션: 전체 문제 세트에 대한 올바른 자연어 규칙을 생성합니다.
  • 역전(Inversion): 모델의 암기 여부를 테스트하기 위해 양성 및 음성 라벨을 뒤바꾼 제어 작업입니다.
• 베이스라인: 성능은 기본 VLM(프로그램 합성이 없는 상태) 및 이전의 인간 수행 데이터(Wüst et al., 2025)와 비교됩니다.

주요 기여

1. 최첨단 VLM의 평가: 본 논문은 GPT-4o와 Claude 3.7을 엄격하게 벤치마킹하여, 규칙을 검증하는 능력과 처음부터 규칙을 생성하는 능력을 구분하여 제시합니다.
2. 하이브리드 뉴로심볼릭 모델: 저자들은 자연어 추론과 함께 매개변수화된 프로그램을 합성하는 새로운 모델을 소개합니다. 이 접근 방식은 고차원 개념을 생성하는 VLM의 능력과 정확한 기하학적 계산 및 매개변수 피팅을 수행하는 프로그램의 능력을 모두 활용합니다.
3. 인간-모델 비교: 연구는 인간 데이터를 분석하여 VLM과 제안된 하이브리드 모델의 강점과 약점을 인간의 행동과 비교함으로써, 모델이 인간에 비해 성공하거나 실패하는 특정 범주를 식별합니다.

결과

• 검증 성능:
  • Claude 3.7은 프로그램 검증과 CoT 추론을 결합했을 때 **86.5%**의 정확도를 달성하며 강력한 성능을 보여주었습니다.
  • 하이브리드 접근 방식("+ both")은 프로그램만 사용하거나 CoT만 사용하는 것보다 우수한 성능을 보였으며, 특히 공간(Spatial) 및 개념(Concept) 범주에서 그러했습니다. 프로그램 검증은 공간 및 유사성 기반 문제에서 뛰어났고, CoT는 고차원적 개념 및 숫자 기반 문제에서 더 우수했습니다.
  • GPT-4o는 프로그램적 검증과 CoT 성능 사이에 큰 격차를 보였으며, 일반적으로 CoT가 프로그램 합성을 앞질렀습니다. 이는 하이브리드 접근 방식의 효과가 기반 모델의 코드 생성 능력에 달려 있음을 시사합니다.
• 솔루션 성능:
  • Claude 3.7을 가설 생성기로 사용하는 전체 시스템은 100개 문제 중 51개를 해결했습니다.
  • 이 결과는 Wüst et al. (2025)이 보고한 평균 인간 성능(약 47개 정답)을 초과합니다.
  • GPT-4o는 하이브리드 방식을 통해 31개 문제를 해결했으며, 이는 베이스라인보다는 개선되었으나 여전히 인간 평균에는 미치지 못했습니다.
• 암기 체크: "역전(Inversion)" 작업 결과, 양성 및 음성 라벨을 바꾸는 것이 모델 성능에 거의 영향을 미치지 않았습니다. 이는 모델이 단순히 특정 문제의 솔루션을 암기하는 것이 아니라 실제적인 추론을 수행하고 있음을 시사합니다.

의의 및 주장

본 논문은 자연어와 형식적 프로그램을 결합하는 것이 AI 시스템이 단일 매체만을 사용할 때보다 시각적 개념에 대해 더 정확하게 추론할 수 있게 해준다고 주장합니다. 개념을 언어로 생성하고 이를 코드로 구현함으로써, 시스템은 봉가드 문제에 필요한 "지각"(특징 식별)과 "추론"(논리 적용) 사이의 간극을 메웁니다.

저자들은 자신들의 시스템이 자신들이 아는 바에 따르면 최초로 봉가드 문제에서 평균 인간 정확도를 넘어섰다고 밝힙니다. 그들은 이를 일반 시각 추론에 대한 최종적인 해결책이라기보다는, AI 시스템이 "인간과 유사한 방식으로 새로운 지각적 개념을 습득하고 사용하는" 단계로 나아가는 과정으로 규정합니다. 이 연구는 VLM이 방대한 사전 학습 지식을 보유하고 있음에도 불구하고, 추상적인 시각 퍼즐의 기하학적 및 매개변수적 미묘함을 처리하기 위해서는 프로그램 실행의 정밀함이 필요하다는 점을 강조합니다. 결론적으로, 유도(프로그램 합성)와 전이(CoT)의 상호 보완적인 성격이 지각과 추론의 경계에 있는 어려운 개념 학습 과제를 다루는 데 필수적임을 보여줍니다.