AutoHarness: improving LLM agents by automatically synthesizing a code harness

이 논문은 작은 규모의 LLM 이 환경 피드백을 통해 자동으로 코드 하네스나 전체 정책을 생성함으로써, 더 큰 모델보다 불법 행동을 방지하고 더 높은 보상을 얻으며 비용 효율성을 입증하는 'AutoHarness' 기법을 제안합니다.

핵심

AutoHarness: AI 가 스스로 '안전장치'를 만들어 게임을 완벽하게 플레이하는 방법

이 논문은 구글 딥마인드 (Google DeepMind) 연구팀이 발표한 **'AutoHarness'**라는 기술에 대한 내용입니다. 이 기술은 인공지능 (AI) 이 게임을 할 때 실수를 하지 않도록 스스로 '안전장치 (Harness)'를 만들어내는 혁신적인 방법입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: 똑똑한 AI 도 '법규 위반'을 저지른다?

상상해 보세요. 체스나 바둑 같은 게임을 하는 초고수 AI가 있다고 칩시다. 이 AI 는 전략도 훌륭하고 계산도 빠릅니다. 그런데 이상한 일이 생깁니다.

• 상황: AI 가 말을 움직이려는데, 규칙에 없는 곳으로 말을 옮깁니다. (예: 체스에서 말이 대각선으로 이동하거나, 말의 이동 경로를 가로막는 다른 말이 있는데도 뚫고 지나가는 등)
• 결과: AI 는 전략적으로 이길 수 있는 상황인데, 단순히 규칙을 어겨서 게임에서 지게 됩니다. 최근 체스 대회에서도 AI 손실의 78% 가 이런 '불법 수' 때문이었습니다.

기존의 해결책은 두 가지였습니다:

1. AI 를 다시 교육시키기: AI 에게 규칙을 더 많이 가르치기 (시간도 많이 들고 비용도 비쌈).
2. 사람이 수동으로 안전장치 만들기: 사람이 직접 코드를 짜서 "이런 수는 안 돼!"라고 막아주는 장치를 달아두기 (매번 새로운 게임이 나오면 다시 만들어야 해서 번거로움).

2. 해결책: "AI 가 스스로 안전장치를 짜라!" (AutoHarness)

이 논문은 **"AI 가 스스로 규칙을 지키는 코드를 만들어내게 하자"**라고 제안합니다.

🎮 비유: "자율주행 자동차와 블랙박스"

기존 방식은 운전기사 (AI) 가 실수하면 사람이 "아, 여기는 금지 구역이야"라고 알려주는 방식이었습니다.
하지만 AutoHarness는 운전기사 (AI) 에게 **"너가 스스로 블랙박스를 만들어서, 내가 위험한 행동을 하려고 하면 자동으로 브레이크를 밟아라"**라고 시키는 것입니다.

이 과정은 다음과 같이 이루어집니다:

1. 시도: AI 가 게임을 하다가 규칙을 어기는 실수를 합니다.
2. 피드백: 게임 환경이 "아, 그건 불법이야!"라고 알려줍니다.
3. 수정 (핵심): AI 는 이 피드백을 보고 **"아, 내가 실수했구나. 그럼 내가 '불법 수'를 막아주는 코드를 고쳐서 다시 짜야겠다"**라고 생각합니다.
4. 반복: 이 과정을 몇 번 반복하면, AI 가 만든 코드 (안전장치) 는 100% 규칙을 지키는 완벽한 필터가 됩니다.

3. 놀라운 결과: 작은 AI 가 큰 AI 를 이기다

이 기술의 가장 놀라운 점은 성능과 비용입니다.

• 작은 AI + 안전장치 > 큰 AI: 연구팀은 작고 저렴한 AI 모델 (Gemini-2.5-Flash) 을 사용했습니다. 이 모델이 스스로 만든 안전장치를 달고 게임을 하니, 훨씬 더 크고 비싼 AI 모델 (Gemini-2.5-Pro) 보다 더 잘 이기게 되었습니다.
• 완벽한 규칙 준수: 145 가지의 다양한 텍스트 게임 (체스, 스도쿠, 카드 게임 등) 에서 **불법 수를 0%**로 만들었습니다.
• 최종 단계: AI 가 필요 없는 시점: 더 나아가서는 AI 가 게임을 하는 동안 실시간으로 생각할 필요도 없게 만들었습니다. AI 가 게임 규칙과 전략을 모두 코드로 변환해버린 것입니다. 이제 게임이 시작되면, AI 는 켜져 있을 필요도 없고, 단순히 실행 가능한 코드 파일만 있으면 됩니다. 이는 비용이 거의 들지 않습니다.

4. 요약: 왜 이것이 중요한가?

이 논문은 **"AI 가 스스로 자신의 약점을 보완하는 도구 (코드) 를 만들어낼 수 있다"**는 것을 증명했습니다.

• 기존: 사람이 AI 를 감시하고 규칙을 가르쳐야 함.
• 새로운 방식: AI 가 스스로 "내가 실수하지 않게 막아주는 코드를 짜겠다"고 학습함.

이는 마치 어린 학생이 스스로 오답노트를 만들어 시험을 완벽하게 대비하는 것과 같습니다. 더 이상 거대한 AI 모델에 막대한 돈을 들일 필요 없이, 작고 효율적인 모델이 스스로 '안전장치'를 만들어 더 똑똑하고 안전한 에이전트가 될 수 있게 된 것입니다.

한 줄 요약:

"AI 가 스스로 '규칙 위반'을 막아주는 코드를 짜게 하니, 작은 AI 도 거대 AI 를 이기고, 게임 중에는 아예 AI 를 켤 필요도 없게 되었다!"

기술 요약

1. 문제 정의 (Problem)

최근 LLM 은 코드 생성이나 수학 문제 해결에서 뛰어난 성과를 보였지만, 에이전트 (Agent) 로서 외부 환경과 상호작용할 때는 치명적인 약점을 보입니다.

• 불법 행동 (Illegal Actions): LLM 은 주어진 상태에 대해 최적의 행동을 선택하는 데 실패할 뿐만 아니라, 환경의 규칙을 위반하는 행동을 수행합니다. 예를 들어, Kaggle GameArena 체스 대회에서 Gemini-2.5-Flash 모델의 패배 원인 중 **78%**가 전략적 실수가 아닌 **불법 수 (illegal moves)**로 분석되었습니다.
• 기존 해결책의 한계:
  • 파인튜닝 (Fine-tuning): 현재 플래그십 모델 규모에서 파인튜닝은 비용이 많이 들고 느리며, 다른 작업 (지시 따르기 등) 의 성능을 저하시킬 수 있습니다.
  • 수동 하니스 (Manual Harness): 각 게임마다 사람이 직접 규칙을 검증하는 코드 (하니스) 를 작성해야 하는데, 이는 노동 집약적이며 확장성이 부족합니다.

2. 방법론 (Methodology)

저자들은 **"Code as Harness (하니스로서의 코드)"**라는 프레임워크를 제안합니다. LLM 이 스스로 자신의 행동을 제어하고 검증하는 코드 하니스를 생성하도록 합니다.

2.1 핵심 개념

• 에이전트 구조: 에이전트는 LLM + 하니스의 조합으로 정의됩니다. 하니스는 모델과 작업 사이의 '접착제' 역할을 하며, LLM 이 제안한 행동이 환경 규칙에 부합하는지 검증하거나, 아예 행동을 직접 생성하는 역할을 합니다.
• 하니스 유형:
  1. Harness-as-Action-Verifier (검증기): LLM 이 행동을 제안하면, 생성된 is_legal_action() 함수가 이를 검증합니다. 불법이면 LLM 에게 경고 메시지를 포함해 다시 요청합니다.
  2. Harness-as-Policy (정책): LLM 호출 없이 순수 코드 (Python) 만으로 다음 행동을 결정합니다. 추론 시 LLM 이 필요 없어 비용이 거의 0 에 수렴합니다.

2.2 학습 알고리즘: 탐험 - 활용 (Exploration-Exploitation) 트리 서치

단순한 반복 프롬프팅이 아닌, Thompson Sampling을 활용한 트리 탐색 (Tree Search) 을 통해 하니스 코드를 최적화합니다.

1. 초기화: 여러 개의 코드 가설 (hypotheses) 을 트리 구조로 유지합니다.
2. 피드백 루프:
   • 환경 (Critic) 에서 이전 행동의 합법성 (Legal/Illegal) 과 보상 (Reward) 정보를 받습니다.
   • is_legal_action() 이 True 이지만 행동이 불법이거나, propose_action() 이 실패한 경우, 해당 함수들을 수정 (Refine) 합니다.
3. 노드 선택: 각 노드의 휴리스틱 값 (평균 합법 행동 정확도) 을 기반으로 Thompson Sampling 을 사용하여 다음에 개선할 노드를 선택합니다.
4. 수렴: 합법 행동 성공률이 1.0 이 되거나 시간 제한이 도달할 때까지 반복합니다.

3. 주요 기여 (Key Contributions)

1. 자동화된 하니스 합성: LLM 이 환경 피드백을 통해 스스로 규칙 검증 코드를 생성하는 첫 번째 체계적인 프레임워크를 제시했습니다.
2. 소규모 모델의 우위: Gemini-2.5-Flash(소규모) 가 생성한 하니스를 사용하면, Gemini-2.5-Pro(대규모) 보다 더 높은 성능을 달성할 수 있음을 증명했습니다.
3. 완전 코드 기반 정책 (Code-as-Policy): 추론 시 LLM 호출이 전혀 필요 없는 순수 코드 정책 생성에 성공하여, 추론 비용을 획기적으로 줄였습니다.
4. 광범위한 검증: TextArena 의 145 개 게임 (단일 및 멀티 플레이어 포함) 에서 불법 행동을 100% 제거하는 데 성공했습니다.

4. 실험 결과 (Results)

실험은 TextArena 의 145 개 게임 (대화형 게임 제외) 을 대상으로 수행되었으며, 주요 결과는 다음과 같습니다.

4.1 합법성 검증 (Action Verification)

• 145 개 게임 모두에서 생성된 하니스가 100% 합법 행동을 보장하도록 학습되었습니다.
• 학습은 평균 14.5 번의 트리 탐색 반복 (Tree Search Iterations) 만에 완료되었으며, 체스 (Chess-v0) 와 같은 복잡한 게임에서도 64 번 이내의 반복으로 성공했습니다.

4.2 게임 성능 평가 (Game Performance)

• 2 플레이어 (2P) 게임:
  • Gemini-2.5-Flash + Harness는 Gemini-2.5-Pro를 상대로 16 개 게임 중 9 개 (승률 56.3%) 에서 승리했습니다. (Pro 의 승률: 38.2%)
  • 순수 Gemini-2.5-Flash 를 상대로는 12/16 (승률 64.8%) 의 승률을 기록했습니다.
• 1 플레이어 (1P) 게임:
  • Gemini-2.5-Flash + Harness는 평균 보상 (0.745) 에서 Gemini-2.5-Pro(0.707) 보다 높았습니다.
  • 16 개 게임 중 8 개에서 Pro 를 능가했고, 5 개에서 무승부를 기록했습니다.

4.3 Harness-as-Policy (완전 코드 정책)

• 추론 시 LLM 을 전혀 사용하지 않는 순수 Python 코드 정책으로 학습했습니다.
• 성능: 16 개 1P 게임에서 평균 보상 0.870을 기록하여, GPT-5.2-High(0.844), Gemini-2.5-Pro(0.707) 등을 모두 능가했습니다.
• 비용 효율성: GPT-5.2-High 실험 비용이 약 $640 이었던 반면, 생성된 코드 정책의 추론 비용은 거의 0이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 비용 효율성과 성능의 동시 달성: 거대 모델을 직접 사용하는 대신, 작은 모델이 '규칙을 지키는 코드'를 생성하게 함으로써 더 큰 모델보다 뛰어난 성능을 내면서도 비용을 절감할 수 있음을 입증했습니다.
• 규칙 준수 문제 해결: LLM 의 환각 (Hallucination) 이나 규칙 오해로 인한 실패를 외부의 검증 가능한 프로그램 (하니스) 으로 해결함으로써, LLM 에이전트의 신뢰성을 획기적으로 높였습니다.
• 미래 방향: 생성된 도메인 특화 에이전트 (하니스) 를 다시 베이스 LLM 에 주입 (Distillation) 하여 자가 진화 시스템을 구축하거나, Craftax, Terra Nova 와 같은 복잡한 멀티모달 게임으로 확장할 가능성을 제시했습니다.

이 연구는 LLM 에이전트의 실용적 적용을 위해 "모델의 지능"과 "코드의 엄격함"을 결합한 새로운 패러다임을 제시했다는 점에서 의미가 큽니다.