🤖 AI

ARCANA: A Reflective Multi-Agent Program Synthesis Framework for ARC-AGI-2 Reasoning

이 논문은 엄격한 제약 조건 하에서 ARC-AGI-2 태스크에 대한 추론 효율성과 솔루션 품질을 향상시키기 위해, 문제를 지각적 접지(perceptual grounding), 가설 생성, 기호적 실행, 그리고 공유된 미분 가능한 블랙보드를 통해 조정되는 성찰적 정교화의 반복적인 주기로 분해하는 협업형 멀티 에이전트 프레임워크인 ARCANA를 소개한다.

원저자: Kunbo Zhang, Lei Fu, Zeyu Wang, Zijing Liu, Kejian Tong

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kunbo Zhang, Lei Fu, Zeyu Wang, Zijing Liu, Kejian Tong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 신비로운 퍼즐 상자를 건네받았다고 상상해 보세요. 그 안에는 조각들이 한 상태에서 다른 상태로 어떻게 움직이는지를 보여주는 몇 가지 예시가 들어 있고, 마지막에는 당신이 숨겨진 규칙을 찾아내기를 기다리는 빈 상자가 놓여 있습니다. 이것이 바로 ARC-AGI-2 챌린지입니다. 이는 매우 적은 단서만을 가지고 색깔 있는 사각형들의 격자 안에 숨겨진 "마법의 규칙"을 추론하는 추상적 추론 테스트입니다.

오랫동안 거대한 컴퓨터 두뇌들(대규모 언어 모델들)은 단순히 추측하고 스스로에게 말을 거는 방식으로 이를 해결하려고 노력했습니다. 하지만 ARCANA 논문은 이러한 "채팅" 방식이 마치 시계를 고치기 위해 소리를 지르는 것과 같다고 주장합니다. 소리는 똑똑하게 들릴지 모르지만, 실제로 톱니바퀴가 맞는지 확인하지는 못한다는 것입니다. 저자들은 순수한 텍text 기반의 추측이 규칙이 엄격하고, 공간적이며, 정확한 정밀도를 요구할 때 실패한다는 것을 발견했습니다.

대신, 그들은 네 명의 특화된 로봇 조력자들이 마치 범죄 현장을 해결하는 첨단 기술의 탐정단처럼 함께 협력하며 루프를 돌며 작동하는 ARCANA를 구축했습니다. 그들은 단순히 추측하는 것이 아니라, 구조적인 방식으로 구축하고, 테스트하고, 실수로부터 배웁니다.

탐정단: 네 명의 특별 요원

이 시스템은 모든 요원이 보고 쓸 수 있는 디지털 화이트보드인 "공유 블랙보드"를 통해 바통을 전달하는 릴레이 경주처럼 작동합니다.

지각적 접지 에이전트 (관찰자):
엉망으로 쌓인 레고 블록 더미를 보고 있다고 상상해 보세요. 일반적인 카메라는 그저 색깔의 뭉텅이로 볼 뿐입니다. 이 에이전트는 단순히 픽셀을 보는 것이 아니라, 즉각적으로 블록들을 별개의 "객체"로 그룹화하는 초정밀 조직가와 같습니다. 이 에이전트는 객체가 무엇인지, 어디에 있는지, 그리고 서로 어떻게 관계를 맺고 있는지에 대한 지도를 만듭니다. 이는 혼란스러운 격자를 캐릭터와 그 위치들의 깔끔한 목록으로 변환합니다.
가설 생성 에이전트 (괴짜 발명가):
관찰자가 "여기 캐릭터들이 있다"라고 말하면, 발명가가 나섭니다. 이 에이전트는 객체들이 어떻게 움직이는지를 설명할 수 있는 수백 가지의 가능한 "규칙서(프로그램)"를 꿈꾸는 창의적인 기계입니다. 단순히 하나의 추측만 하는 것이 아니라, 단순한 이동부터 복잡한 회전에 이르기까지 다양한 종류의 추측을 만들어내어, 단 하나의 유형의 솔루션에만 갇히지 않도록 보장합니다.
기호 실행 에이전트 (엄격한 테스터):
발명가의 기발한 아이디어들은 테스터가 개입하기 전까지는 그저 단어일 뿐입니다. 이 에이전트는 궁극의 팩트 체크 도구입니다. 이 에이전트는 발명가가 만든 모든 규칙서를 가져와서 퍼즐 예시에 실제로 실행해 봅니다. 그리고 확인합니다: "내가 이 규칙을 첫 번째 예시에 적용했을 때, 정확히 맞는 답이 나오는가?" 이 에이전트는 추측하지 않습니다. 계산합니다. 만약 규칙이 실패한다면, 어디에서 왜 틀렸는지를 정확히 기록합니다.
성찰적 정제 에이전트 (현명한 코치):
이것이 핵심 비법입니다. 테스터가 실패를 발견했을 때, 코치는 단순히 "다시 해봐"라고 말하지 않습니다. 대신 실수를 분석합니다. "오류가 잘못된 객체를 움직였기 때문에 발생했는가? 아니면 잘못된 색상을 사용했기 때문인가?"라고 자문합니다. 그런 다음 발명가에게 구체적인 메시지를 보냅니다: "그런 종류의 규칙은 그만 시도하고, 다른 것을 시도하세요." 이를 통해 팀은 매 턴마다 더 똑똑해지는 루프를 형성합니다.

그들이 게임을 플레이하는 방식

이 팀 전체는 어떤 요원을 호출할지, 언제 멈출지를 결정하는 게임 쇼 진행자와 같은 **메타 컨트롤러(Meta-Controller)**에 의해 관리됩니다. 이 시스템은 엄격한 하드웨어 제한 내에서 효율적으로 작동하도록 설계되었습니다 (4개의 NVIDIA L4 GPU와 작업당 $0.16의 예산 사용).

논문은 이 팀 접근 방식이 매우 효과적임을 보여줍니다. 120개의 어려운 퍼즐 테스트에서 ARCANA는 **32.5%**를 해결했습니다. 이는 이전의 최고 기록(26.0%)과 비교했을 때 상당한 도약입니다. 저자들은 "코치"(성찰적 정제)와 LoRA라고 불리는 특별한 "미세 조정" 기법이 가장 중요한 요소였다고 언급했습니다. 이들이 없었다면 점수는 10% 포인트 이상 떨어졌을 것입니다.

그들이 하지 않은 것 (그리고 해결하지 못한 것)

이 논문이 무엇을 주장하지 않는지 아는 것도 중요합니다. 저자들은 단순히 컴퓨터가 더 많은 텍스트 기반 추론(Chain-of-Thought 프롬프팅 등)을 통해 "더 열심히 생각하게" 만드는 것만으로는 이러한 특정 격자 퍼즐을 해결하기에 충분하지 않다고 명시적으로 주장합니다. 또한, 그들이 매우 뛰어나긴 하지만 아직 문제를 완전히 해결한 것은 아니라는 점도 보여줍니다.

최고의 팀을 갖추었음에도 불구하고, 시스템은 여전히 약 **32.5%**의 정확도에 머물러 있으며, 인간은 이러한 작업의 약 **75%**를 해결할 수 있습니다. 논문은 그들의 방법이 오픈 소스 솔루션으로서 큰 진전이지만, 인간 수준의 추상적 추론에 도달하기에는 여전히 "상당한 격차"가 존재한다고 시사합니다. 그들이 모든 퍼즐의 코드를 해독한 것은 아니지만, 훨씬 더 나은 엔진을 구축한 것입니다.

결론

ARCANA는 복잡한 시각적 퍼즐을 위해서는 모든 것을 한꺼번에 하려고 하는 거대하고 단일한 뇌가 필요한 것이 아니라, 객체를 보고, 규칙을 꿈꾸고, 엄격하게 테스트하며, 실패로부터 배울 수 있는 작고 특화된 팀이 필요하다는 것을 증명합니다. 이는 "추측하고 희망하는 것"에서 "구축하고, 확인하고, 정제하는 것"으로의 전환입니다. 비록 인간 수준의 지능이라는 결승선에 도달하지는 못했지만, 그들은 분명히 다음 체크포인트를 향한 더 빠르고 스마트한 경로를 찾아냈습니다.

기술 요약: ARCANA

문제 정의

본 논문은 소수의 시연 쌍(demonstration pairs)으로부터 압축된 변환 규칙을 추론해야 하는 ARC-AGI-2 과제를 해결하는 문제를 다룹니다. 이 과제는 가변적인 그리드 크기, 객체 간의 상호작용, 그리고 잠재적 규칙 공간(latent rule space)의 심각한 모호성을 처리해야 합니다. 저자들은 대규모 사전 학습 모델이 패턴 인식 능력은 향상시켰으나, 구성적 그리드 변환(compositional grid transformations)에 대한 퓨샷 일반화(few-shot generalization)에는 여전히 어려움을 겪고 있다고 주장합니다. 사고의 사슬(chain-of-thought) 프롬프팅이나 순수 텍스트 기반 정교화와 같은 기존 방식들은 실행 가능한 일관성(executable consistency)을 보장하지 못하거나, 정밀한 그리드 기반 추론에 필요한 구조적 귀납 편향(structural inductive bias)이 부족한 경우가 많습니다. 또한, 이러한 방법들은 비현실적인 컴퓨팅 가정을 전제로 하는 경우가 많으나, ARC-AGI-2는 엄격한 테스트 타임 및 하드웨어 제약 조건(특히 ARC Prize 2026 제한 사항) 하에서 작동하는 솔루션을 요구합니다.

방법론: ARCANA 프레임워크

저자들은 각 태스크를 멀티 턴 추론 에피소드로 취급하는 협업형 멀티 에이전트 프레임워크인 ARCANA(Adaptive Reasoning with Collaborative Agent Network Architecture)를 제안합니다. 이 시스템은 문제를 네 개의 특화된 에이전트로 분해하며, 이들은 학습된 **메타 컨트롤러(Meta-Controller)**에 의해 조정되는 공유된 **미분 가능한 블랙보드(differentiable blackboard)**를 통해 통신합니다.

1. 핵심 에이전트

지각 접지 에이전트 (Perceptual Grounding Agent, PGA): 원시 그리드 입력을 구조화된 객체 중심의 씬 그래프(scene graph)로 변환합니다. 이는 기하학적 귀납 편향을 주입하기 위해 **2D 인식 트랜스포머(2D-aware Transformer)**와 **회전 위치 인코딩(Rotary Position Encoding, RoPE-2D)**을 활용합니다. 하드코딩된 연결 성분 분석(connected component analysis) 대신, 비지도 방식으로 객체와 그 속성(중심점, 경계 상자, 색상)을 발견하기 위해 **미분 가능한 슬롯 어텐션(differentiable Slot Attention)**을 채택합니다. 이러한 정보는 교차 시연 트랜스포머(cross-demonstration Transformer)를 통해 순열 불변적 태스크 표현( $R_{task}$ )으로 집계됩니다.
가설 생성 에이전트 (Hypothesis Generation Agent, HGA): 잠재적 프로그램 정책 역할을 수행합니다. CVAE(Conditional Variational Auto-Encoder)를 사용하여 태스크 표현(및 정교화 피드백)을 잠재 공간으로 매핑하고, 이로부터 타입이 지정된 도메인 특화 언어(DSL)의 다양한 후보 프로그램을 자기 회귀적으로 디코딩합니다. 프로그램 공간의 커버리지를 보장하기 위해, **k-결정론적 점 프로세스(k-Determinantal Point Process, k-DPP)**를 사용하여 최대한 다양한 후보 집합을 선택합니다.
기호 실행 에이전트 (Symbolic Execution Agent, SEA): 후보 프로그램들을 시연 쌍에 실행합니다. 정확한 일치(exact match), 셀 정확도(cell accuracy), SSIM을 결합한 계층적 검증 메트릭을 사용하여 후보들을 평가합니다. 단계별 상태 변화를 나타내는 구조화된 실행 트레이스(execution traces)를 생성하여 블랙보드에 기록합니다.
성찰적 정교화 에이전트 (Reflective Refinement Agent, RRA): 본 프레임워크의 핵심 혁신 요소입니다. 오류 맵과 실행 트레이스를 분석하여 실패 원인을 진단합니다. 프로그램의 어떤 특정 단계가 실패를 유발했는지 식별하는 **역사실적 신용 할당(counterfactual credit assignment)**을 수행합니다. 이를 통해 HGA의 사전 분포(prior distribution)를 다음 턴에서 조절할 수 있도록 피드백 벡터( $F_{refine}$ )를 합성하며, 이를 통해 이전의 실패한 프로그램 영역으로부터 탐색을 유도합니다.

2. 오케스트레이션 및 적응

메타 컨트롤러 (Meta-Controller): 어떤 에이전트를 활성화할지, 턴당 컴퓨팅 자원을 얼마나 할당할지, 그리고 언제 에피소드를 종료할지를 결정하는 학습된 컨트롤러입니다. 이는 정책 경사(policy-gradient) 전략을 사용하여 제한된 컴퓨팅 예산(평가 시 태스크당 $0.42로 제한) 내에서 최적화됩니다.
테스트 타임 적응 (Test-Time Adaptation, TTT): 에이전트 루프 이전에, PGA는 특정 태스크의 시연 쌍에 대해 **LoRA(Low-Rank Adaptation)**를 사용하여 미세 조정됨으로써, 전체 모델을 재학습하지 않고도 지각 접지(perceptual grounding)를 적응시킵니다.
학습 목표: 시스템은 초점 재구성 손실(focal reconstruction loss), 변분 프로그램 손실(ELBO), 에이전트 활성화를 위한 정책 경사, 그리고 피드백을 성공적인 잠재 코드와 정렬하기 위한 대비 학습(contrastive learning) 정교화 손실을 결합한 **추론 궤적 최적화(Reasoning Trajectory Optimization, RTO)**를 통해 엔드 투 엔드로 학습됩니다.

주요 기여

프로그램 합성을 위한 멀티 에이전트 아키텍처: ARCANA는 지각, 가설 생성, 실행, 성찰을 특화된 모듈로 분리하여, 순수 엔드 투 엔드 모델이 달성할 수 없는 반복적인 정교화를 가능하게 합니다.
미분 가능한 블랙보드 및 정교화 루프: 실패 분석(RRA)이 미분 가능한 피드백 신호를 통해 생성적 사전 확률(HGA)을 직접 조절하여, 이산적인 프로그램 공간에서 "그래디언트와 유사한(gradient-like)" 탐색을 가능하게 하는 메커니즘을 도입했습니다.
객체 중심의 귀납 편향: 슬롯 어텐션과 RoPE-2D를 활용함으로써, 시스템은 객체와 그 공간적 관계를 명시적으로 모델링하여 밀집된 픽셀 기반 추론의 한계를 해결합니다.
하드웨어 제약 효율성: 시스템은 엄격한 ARC Prize 2026 제약 조건(4×L4 GPU, 12시간 벽시계 시간, 오프라인) 하에서 설계 및 평가되었으며, 제한된 자원(48M 파라미터)으로도 고품질의 추론이 가능함을 입증했습니다.

실험 결과

준비된 비공개 ARC-AGI-2 평가 세트(120개 태스크)에서 ARCANA는 다음과 같은 성과를 거두었습니다:

정확도: 32.5% (Pass@1)를 달성하여, 가장 강력한 베이스라인인 EPS-Grok(26.0%)을 6.5% 포인트 차이로 앞질렀습니다.
셀 정확도 (Cell Accuracy): **67.4%**를 기록하며 다른 방법론들을 크게 상회했습니다.
효율성: 태스크당 비용 $0.16에서 CNE (Cost-Normalized Efficiency) 점수 7.90을 달성하였으며, 이는 제한된 환경의 방법론 중 가장 높은 수치입니다.
어블레이션 연구 (Ablation Studies): 성찰적 정교화 에이전트(RRA)를 제거했을 때 정확도가 10.8% 하락했고, 테스트 타임 적응(TTT-LoRA)을 제거했을 때 7.5% 하락했습니다. 이는 두 요소가 가장 중요한 구성 요소임을 확인시켜 줍니다.
Pass@k: 시스템은 강력한 탐색 다양성을 보여주었으며, Pass@32는 53.3%, Pass@128은 59.2%에 도달했습니다.

의의 및 주장

본 논문은 ARCANA가 **오픈 소스 솔루션 중 새로운 SOTA(State-of-the-Art)**를 세웠으며, 인간 수준의 추상적 추론(약 75% 정확도로 인용됨)과의 격차를 좁히고 있다고 주장합니다. 저자들은 이러한 성공이 구조화된 프로그램 탐색과 적응형 멀티 턴 교정의 결합에서 비롯되었다고 강조합니다. 또한, 이 프레임워크가 현실적인 컴퓨팅 제한 하에서 추상적 시각 추론을 위한 실질적인 경로를 제시하며, 순수 신경망 변환(neural transduction)이나 텍는 기반 프롬프팅이 실패하는 구성적 그리드 변환 문제를 해결하기 위해서는 명시적인 숙고(deliberation), 기호적 검증, 그리고 성찰적 실패 분석이 필수적임을 증명한다고 주장합니다. 이 연구는 적응형 자원 할당과 특화된 에이전트 역할이 상대적으로 작은 파라미터 수(48M)로도 상당한 이득을 얻을 수 있음을 보여줍니다.