ARC-TGI: Human-Validated Task Generators with Reasoning Chain Templates for ARC-AGI

이 논문은 과적합과 데이터 누출 문제를 해결하고 인간이 해결 가능한 추론 규칙을 보장하기 위해, 자연어 추론 체인과 부분 평가 코드를 갖춘 461 개의 인간 검증 작업 생성기 (ARC-TGI) 를 개발하여 ARC-AGI 벤치마크의 확장 가능한 데이터 샘플링과 통제된 평가를 가능하게 했음을 소개합니다.

핵심

1. 문제점: "기억력"이 아닌 "진짜 지능"을 측정하려면?

지금까지 AI 의 지능을 측정할 때는 **ARC(추상화 및 추론 코퍼스)**라는 고정된 퍼즐 세트를 사용했습니다. 이는 마치 학생들에게 항상 똑같은 수학 문제집을 주고 시험을 보는 것과 같습니다.

• 문제: AI 가 문제를 풀 때, 문제를 이해해서 푸는 것인지, 아니면 그냥 기억해서 푸는 것인지 구별하기 어렵습니다. AI 가 문제집을 외워버리면 (과적합), 실제 지능은 낮아도 점수는 높게 나옵니다.
• 비유: 시험지가 "고정된 책"이라서, 학생이 문제를 외우면 답을 맞출 수 있지만, 조금만 변형된 문제를 주면 엉뚱한 답을 냅니다.

2. 해결책: ARC-TGI (문제 생성기 목록)

저자들은 이 문제를 해결하기 위해 ARC-TGI라는 도구를 만들었습니다. 이는 고정된 문제집 대신, **"무한히 변형 가능한 문제 생성기"**를 제공하는 것입니다.

• 핵심 아이디어: 하나의 퍼즐을 '고정된 이미지'가 아니라, **'규칙을 가진 가족 (Task Family)'**으로 봅니다.
• 비유:
  • 기존 방식: "이 그림을 보고 답을 맞춰라" (고정된 그림).
  • ARC-TGI 방식: "이 그림의 규칙은 '빨간색 공을 파란색으로 바꾸고 오른쪽으로 옮기는 것'이야. 이제 이 규칙을 적용해서 색깔, 크기, 모양이 다른 새로운 그림들을 무한히 만들어봐."

이렇게 하면 AI 는 특정 그림을 외울 수 없고, 규칙 자체를 이해해야만 문제를 풀 수 있습니다.

3. 이 시스템의 특별한 기능 3 가지

이 생성기는 단순히 무작위로 그림을 만드는 게 아니라, 매우 정교하게 설계되었습니다.

① "규칙을 가르치는 설명서" (Reasoning Chain Templates)

AI 가 문제를 풀 때, 단순히 답만 내는 게 아니라 어떻게 생각했는지를 설명할 수 있어야 합니다.

• 비유: 수학 문제를 풀 때, 답만 적는 게 아니라 "이유는 A 이고, B 공식을 썼기 때문에 C 가 된다"는 풀이 과정을 함께 만들어줍니다. 이 설명은 AI 가 문제를 풀 때 따라야 할 '지도' 역할을 합니다.

② "수학 선생님의 검증" (Human-Validated)

컴퓨터가 만든 문제가 너무 어렵거나, 규칙이 모호하면 안 됩니다.

• 비유: 이 생성기는 사람이 직접 만들어서 **"이 문제는 인간도 풀 수 있고, 규칙이 명확한가?"**를 확인합니다. AI 가 만든 코드를 사람이 다시 다듬어서, "아, 이 부분은 너무 헷갈리네. 고쳐야겠다"라고 수정합니다.

③ "문제와 답의 완벽한 연결" (Task-Level Constraints)

훈련 문제 (예제) 만으로는 규칙을 추론할 수 없게 만드는 실수를 방지합니다.

• 비유: "빨간 공을 파란색으로 바꾼다"는 규칙을 가르치려면, 훈련 문제에 빨간 공이 반드시 있어야 합니다. 만약 훈련 문제에는 빨간 공이 없고, 시험 문제에만 빨간 공이 있다면 AI 는 규칙을 알 수 없죠. ARC-TGI 는 훈련 문제들이 모여서 규칙을 완벽하게 설명하도록 자동으로 조정합니다.

4. 실험 결과: AI 는 어떻게 반응했나?

저자들은 이 새로운 시스템으로 다양한 AI 모델 (LLM) 을 테스트했습니다.

• 결과: 현재 AI 는 이 새로운 방식의 퍼즐을 풀 때 여전히 어려움을 겪고 있습니다.
  • 비유: AI 는 "외운 문제"는 잘 풀지만, "규칙을 적용해야 하는 새로운 문제"에서는 많이 틀립니다.
  • 하지만, 이 시스템으로 **추가 학습 (Fine-tuning)**을 시키면 AI 의 실력이 눈에 띄게 향상되었습니다. 특히, 규칙을 이해하는 능력이 길러졌습니다.
• 의미: 이는 AI 가 단순히 데이터를 외우는 것을 넘어, 진짜 추론 능력을 기를 수 있는 훈련 방법이 있다는 것을 보여줍니다.

5. 요약: 왜 이 연구가 중요한가?

이 논문은 AI 연구계에 "고정된 시험지"를 버리고, "규칙 기반의 동적인 학습 환경"으로 나아가자고 제안합니다.

• 기존: "이 문제를 외워라." (AI 가 속임수를 쓸 수 있음)
• ARC-TGI: "이 규칙을 이해하고, 변형된 문제에 적용해봐." (AI 의 진짜 지능을 측정 가능)

마치 주사위를 굴려서 새로운 문제를 만들어내는 게임처럼, ARC-TGI 는 AI 가 어떤 상황에서도 유연하게 생각할 수 있는지, 진정한 '지능'을 가지고 있는지 검증할 수 있는 새로운 기준을 제시합니다.

한 줄 요약:

"AI 가 문제를 '외우는' 게 아니라 '이해'하는지 확인하기 위해, 고정된 문제집 대신 규칙을 기반으로 무한히 변형되는 문제 생성기를 만들었습니다."

기술 요약

ARC-TGI: ARC-AGI 를 위한 인간 검증 작업 생성기 및 추론 체인 템플릿 기술 요약

이 논문은 ARC-TGI (ARC Task Generators Inventory) 를 소개하며, 이는 추상화 및 추론 코퍼스 (ARC-AGI) 의 평가 방식을 고정된 퍼즐 집합에서 재샘플링 가능한 작업 가족 (Task Family) 기반의 통제된 실험 플랫폼으로 전환하는 오픈소스 프레임워크입니다.

1. 문제 정의 (Problem)

ARC-AGI 는 소수의 예시 (few-shot) 로부터 추상화와 규칙 유도를 테스트하는 벤치마크이지만, 기존 방식에는 다음과 같은 근본적인 한계가 존재합니다.

• 과적합 및 데이터 누수: 정적 (static) 인 손으로 작성된 퍼즐 집합은 모델이 특정 퍼즐을 암기하거나 데이터셋을 누수하여 성능을 속일 수 있게 합니다.
• 일반화 vs 암기 구분의 어려움: 모델이 실제로 규칙을 학습했는지, 아니면 특정 퍼즐 패턴을 외웠는지 구분하기 어렵습니다.
• 통제된 연구의 부재: 격자 크기, 색상, 방해 요소 (distractors) 등 하나의 요인만 변경하고 기본 규칙은 고정하여 실험하는 것이 어렵습니다.
• 기존 생성 방식의 한계: 기존 데이터 증강이나 LLM 기반 생성은 표면적 형태만 변형하거나, 훈련 예제들이 규칙을 명확히 구분 (disambiguate) 해주는지 보장하지 못해 해결 불가능한 작업을 생성할 수 있습니다.

2. 방법론 (Methodology)

ARC-TGI 는 각 ARC 작업을 고정된 인스턴스가 아닌 규칙을 공유하지만 노이즈 (색상, 크기, 배치 등) 가 변하는 작업 가족 (Task Family) 으로 재정의합니다.

핵심 구성 요소

1. 작업 가족 생성기 (Task-Family Generators):
   • 각 생성기는 3 단계로 구성된 컴팩트한 Python 모듈입니다.
     • create_input: 노이즈 요인 (색상, 크기 등) 을 무작위화하여 입력 격자를 샘플링합니다.
     • transform_input: 잠재적 규칙 (latent rule) 을 결정론적으로 적용하여 출력 격자를 생성합니다.
     • create_grids (핵심): 전체 에피소드 (훈련/테스트 쌍) 를 구성하며, 작업 수준 제약 (Task-level constraints) 을 강제합니다.
       • 제약 예시: 테스트에만 존재하는 색상/형태 금지, 훈련 예제들이 규칙을 유추할 수 있도록 충분한 변형을 포함하도록 보장, 단순한 항등 (identity) 또는 상수 출력과 같은 퇴화 (degenerate) 된 단축 경로 방지.
2. 해석 가능한 추론 체인 (Solver-Facing Reasoning Chains):
   • 각 생성된 작업에는 자연어 템플릿 기반의 입력 추론 체인 (격자 내용 설명) 과 변환 추론 체인 (해결 단계 설명) 이 연결됩니다.
   • 이 템플릿은 샘플링된 변수 (색상, 크기 등) 로 채워져, 생성된 인스턴스에 맞춰 정렬된 인간이 읽을 수 있는 설명을 제공합니다.
3. 부분 평가된 Python 코드 (Partially Evaluated Python Code):
   • 샘플링된 변수가 인라인 (inlined) 된 실행 가능한 Python 코드를 생성하여, 코드 기반 솔버나 코드 조건부 모델이 직접 사용할 수 있는 인터페이스를 제공합니다.
4. 인간 - 루프 (Human-in-the-Loop) 검증:
   • 생성기 작성 시 LLM 이 코드를 초안 작성할 수 있지만, 인간이 반복적인 샘플링과 시각화를 통해 격자의 유효성과 추론의 자연스러움을 검증하고 수정합니다. 이는 모호하거나 오해의 소지가 있는 작업을 방지합니다.

3. 주요 기여 (Key Contributions)

• ARC-TGI 프레임워크 및 데이터셋: 180 개의 ARC-Mini, 215 개의 ARC-AGI-1(훈련 200/평가 15), 66 개의 ARC-AGI-2(훈련 55/평가 11) 작업을 커버하는 461 개의 생성기를 공개했습니다.
• 작업 수준 제약 메커니즘: 개별 예제 샘플링이 아닌, 훈련 예제 집합이 규칙을 명확히 구분할 수 있도록 보장하는 create_grids 단계를 도입하여 인간이 해결 가능한 작업을 보장합니다.
• 해석 가능한 설명 및 코드: 각 샘플에 맞춰 생성된 자연어 추론 체인과 실행 가능한 Python 코드를 제공하여 모델의 추론 과정을 진단하고 디버깅할 수 있게 합니다.
• 확장 가능한 벤치마킹: 동일한 작업 가족에서 무한히 새로운 에피소드를 샘플링하여 과적합 없이 대규모 훈련 데이터 생성 및 통제된 강건성 (robustness) 테스트가 가능해졌습니다.

4. 실험 결과 (Results)

저자는 사전 훈련된 LLM 과 ARC-TGI 데이터셋으로 파인튜닝된 모델의 성능을 평가했습니다.

• Few-Shot 성능 (사전 훈련 모델):
  • 200 개의 생성기에서 샘플링된 10,000 개의 작업에 대해 11 개의 오픈소스 LLM 과 Claude Sonnet 4.5 를 평가했습니다.
  • 성능: Qwen3-30B 가 가장 높은 정확도 (21%) 를 보였으나, 대부분의 모델은 낮은 성능을 보였습니다. 모델 크기가 커질수록 성능이 향상되지만, 여전히 2D 격자 변환 작업은 LLM 에게 큰 도전 과제입니다.
  • 작업 가족별 난이도: 생성기마다 난이도가 일관되게 유지되며, 일부 생성기는 거의 모든 모델이 실패하는 "긴 꼬리 (long-tail)" 난이도를 가집니다.
• 파인튜닝 효과:
  • ARC-TGI 데이터로 파인튜닝한 결과, Phi-4 와 Llama-3.1-8B 모델은 훈련 데이터 (ID) 에서 성능이 크게 향상되었습니다 (Phi-4 는 2 배 증가, Llama 는 183% 증가).
  • 일반화 (OOD): 파인튜닝된 모델은 공개된 ARC-AGI-1 평가셋 (OOD) 에서도 기존 훈련 방식보다 더 나은 일반화 성능을 보였으나, 여전히 ID 와 OOD 간 성능 격차는 존재했습니다.
  • 모델별 차이: Qwen3-8B 는 파인튜닝 후 오히려 성능이 저하되는 등 모델 아키텍처에 따라 파인튜닝 효과가 다르게 나타났습니다.

5. 의의 및 결론 (Significance)

• 진단적 평가 플랫폼: ARC-TGI 는 단순한 순위표 (leaderboard) 점수를 넘어, 노이즈 변형에 대한 강건성, 가족 내/가족 간 일반화, 그리고 유도 (induction) 대 전도 (transduction) 접근법 비교 등을 위한 통제된 실험 플랫폼을 제공합니다.
• 데이터 중심 분석: 생성기를 통해 유도된 변형 (격자 크기, 객체 통계 등) 을 요약하는 도구를 제공하여 데이터셋의 다양성과 분포 커버리지를 분석할 수 있습니다.
• 인간 검증의 중요성: 완전히 자동화된 생성만으로는 인간이 해결 가능한 인지적 기반의 벤치마크를 유지하기 어렵다는 점을 강조하며, LLM 보조와 인간 검증을 결합한 워크플로우의 필요성을 입증했습니다.
• 미래 방향: ARC-TGI 는 연구 커뮤니티를 위한 공유 평가 및 데이터 인프라로서, 더 엄격한 추론 벤치마크를 위한 표준 프로토콜, 제약 조건, 검증 방법론을 정립하는 데 기여할 것으로 기대됩니다.

요약하자면, ARC-TGI 는 ARC-AGI 벤치마크의 정적 한계를 극복하고, 재현 가능하고 해석 가능하며 통제된 방식으로 AI 의 추론 능력을 평가하고 발전시키기 위한 강력한 도구입니다.