기술 요약: 발견 에이전트를 통한 I/O 에서 코드까지

문제 정의: IO2Code

본 논문은 자연어에서 코드 (NL2Code) 로 이어지는 주류 패러다임과 구별되는 프로그램 합성의 근본적인 과제를 다룹니다. NL2Code 가 사전 학습 중에 획득한 자연어 설명과 코드 간의 의미론적 정합에 의존하는 반면, IO2Code(입력 - 출력에서 코드) 는 자연어 명세 없이 제한된 입력 - 출력 (I/O) 쌍의 집합으로부터 일반화된 프로그램을 엄격하게 합성해야 합니다.

저자들은 IO2Code 가 NL2Code 보다 훨씬 더 심각한 도전을 제기한다고 주장합니다:

• 귀납 대 구성: NL2Code 는 학습된 설명과 정합된 코드 패턴을 구성하고 재사용하는 것으로 대부분 환원됩니다. 반면, IO2Code 는 귀납과 발견을 요구하며, 모델은 잠재된 알고리즘적 구조를 밝혀내고, 인과 관계를 추론하며, 구체적인 계산 행동으로부터 완전한 논리를 자율적으로 구축해야 합니다.
• 미명세 (Underspecification): I/O 관측치는 본질적으로 미명세 상태입니다. 유한한 예제 집합과 일치할 수 있는 여러 개의 서로 다른 프로그램이 존재할 수 있기 때문입니다. 이는 에이전트가 우연한 패턴 (기억화) 에 과적합하거나 구조적으로 복잡하지만 잘못된 "죽은 길"로 헤매는 위험이 있는 광범위한 가설 공간을 생성합니다.
• 실패 모드: 본 논문은 기존 접근법에서 두 가지 주요 실패 모드를 식별합니다:
  1. 과적합 함정: 모델들이 일반화하는 대신 특정 예제 (예: 룩업 테이블) 를 기억하여 보지 못한 입력에서 실패합니다.
  2. 맹목적 변이 함정: 구조적 안내 없이 수행된 진화적 탐색은 문법적으로 복잡하지만 의미론적으로 잘못된 프로그램을 생성하여 탈출하기 어려운 구조적 죽은 길로 이어집니다.

방법론: DIO-Agent

이러한 도전을 해결하기 위해 저자들은 이산적 프로그램 공간에 대한 진화적 탐색으로 IO2Code 를 프레임하는 발견 에이전트인 DIO-Agent를 제안합니다. 이 방법은 세 가지 핵심 요소를 통합합니다:

1. 커리큘럼별 진화

탐색 과정은 난이도가 증가하는 단계로 조직화됩니다.

• 커리큘럼 구성: 입력/출력 복잡도에 따라 가시적인 예제를 쉬운 것부터 어려운 것까지 정렬합니다.
• 단계별 진행: 에이전트는 쉬운 예제의 부분집합 ($C_1$) 으로 시작하여 점차 더 어려운 예제 ($C_2, \dots, C_S$) 를 도입합니다.
• 초기화: 각 새로운 단계 $s$에서 탐색은 처음부터 다시 시작하는 대신, 이전 단계 $s-1$에서 찾은 최상의 프로그램으로 초기화됩니다. 이를 통해 에이전트는 기본 논리를 재발견하는 대신 부분적으로 올바른 프로그램을 정제할 수 있습니다.

2. 변환 우선순위 전제 (TPP) 기반 변이

테스트 주도 개발 (TDD) 의 변환 우선순위 전제 (TPP) 에서 영감을 받아, DIO-Agent 는 변이 과정에서 대규모 언어 모델 (LLM) 에 구조적 우선순위를 부여합니다.

• 정렬된 복잡도: LLM 에게 구조적 복잡도가 증가하는 특정 순서로 변환을 적용하도록 지시합니다: nil $\to$ constant $\to$ variable $\to$ unconditional $\to$ conditional $\to$ iteration $\to$ recursion.
• 메커니즘: 에이전트는 더 복잡한 구조 (예: 루프 또는 조건문) 를 시도하기 전에 더 단순한 가설 (예: 상수나 변수 반환) 을 모두 소진해야 합니다. 이는 탐색이 과적합 솔루션으로 성급하게 뛰어오르는 것을 방지하고 에이전트가 최소한의 충분한 규칙을 식별하도록 강제합니다.
• 구현: LLM 은 전체 재작성 대신 SEARCH/REPLACE 차이를 제안하도록 프롬프트되어, 복잡도 순서를 준수하면서도 작동하는 코드를 유지합니다.

3. 오류 기반 피드백

스칼라 정확도 점수에만 의존하는 대신, DIO-Agent 는 구조화된 피드백 아티팩트를 활용합니다.

• 구체적 실패 사례: 평가자는 후보 프로그램을 현재 커리큘럼 세트와 이전 예제의 재생 세트 모두에서 실행합니다. 그리고 구체적인 실패 사례 (불일치 출력 또는 런타임 오류) 를 반환합니다.
• 피드백 체인: 이러한 구체적인 오류와 조상 프로그램으로부터 상속된 피드백 체인은 후속 변이를 위한 프롬프트에 주입됩니다. 이는 LLM 에게 추상적 보상 대신 명시적인 디버깅 증거를 제공합니다.
• 점수 매기기: 단계별 선택 점수는 현재 커리큘럼에 대한 정확도와 복잡성 및 기억화 (제공된 I/O 와 생성된 코드 간의 중복) 에 대한 패널티를 균형 있게 반영합니다.

주요 기여

1. IO2Code 의 형식화: 본 논문은 구성 중심의 NL2Code 작업과 대비되는 귀납과 발견에 초점을 맞춘 고유한 작업으로서 IO2Code 를 정의합니다.
2. IO2CodeBench: 저자들은 네 가지 난이도 수준 (Base(스칼라/리스트 연산), Algorithm(복잡한 추론), Geometry(공간 계산), Multimodal(이미지 - 수치 추출)) 을 아우르는 새로운 벤치마크를 구축했습니다. 이 벤치마크는 누출을 방지하기 위해 엄격한 학습 - 테스트 분할을 포함하는 125 개의 작업을 포함합니다.
3. DIO-Agent 아키텍처: 커리큘럼 학습, TPP 기반 변이, 오류 기반 피드백을 결합하여 미명세된 프로그램 공간을 탐색하는 구조화된 진화 루프를 제안합니다.
4. 능동적 탐색: 본 논문은 모델이 진리 오라클을 쿼리하기 위해 스스로 I/O 예제를 능동적으로 설계하는 "자율 발견" 설정에서 에이전트의 능력을 입증하며, 이는 에이전트의 논리적 모호성 해결 능력을 추가로 검증합니다.

실험 결과

IO2CodeBench 에 대한 광범위한 실험은 DIO-Agent 가 기존 접근법보다 일관되게 우월함을 보여줍니다:

• 성능: DIO-Agent 는 모든 난이도 수준에서 최첨단 결과를 달성합니다.
  • Base Level: 61.29% (최고 베이스라인과 일치).
  • Algorithm Level: 71.43% (모든 베이스라인을 상회).
  • Geometry Level: 61.11% (CodeEvolve 의 44.44% 보다 상당한 개선).
  • Multimodal Level: 40.67% (AlphaEvolve 의 22.00% 를 거의 두 배로 증가).
• 일반화 능력: 이 방법은 다양한 기본 LLM(DeepSeek V3.2, Qwen-3.6-Plus, Claude-Sonnet-4.6) 에서 견고한 성능 향상을 보여주어 모델에 무관함을 확인합니다.
• 효율성: DIO-Agent 는 다른 진화적 베이스라인보다 토큰 효율적입니다 (예: CodeEvolve 의 5,829 토큰/반복 대비 3,738 토큰/반복). 이는 무차별 대입식 생성이 아닌 표적화된 탐색 과정을 나타냅니다.
• 스케일링과의 비교: DIO-Agent 는 동등한 샘플링 예산 (N=40) 이 부여된 경우에도 테스트 시간 스케일링 전략 (Direct, Best-of-N, Self-Consistency) 을 크게 능가합니다. 이는 프로그램 발견을 위해 반복적인 독립 샘플링보다 체계적인 반복 탐색을 통한 정제가 우월함을 시사합니다.
• 애블레이션 연구: 커리큘럼별 진화를 제거하면 가장 큰 성능 저하 (58.63% $\to$ 51.33%) 가 발생하여 비생산적인 경로를 제거하는 데 있어 그 핵심적 역할을 강조합니다. TPP를 제거하는 것 또한 Geometry 및 Algorithm 작업에서 특히 심각한 감소를 초래했습니다.

중요성과 주장

본 논문은 IO2Code 가 NL2Code 에 비해 대부분 해결되지 않은 컴퓨터 과학의 "성배"를 나타낸다고 주장합니다. 이 작업의 중요성은 다음과 같습니다:

• 패러다임 전환: 자연어 기반 코드 생성을 넘어 행동 기반 프로그램 발견으로 전환하는 것인데, 이는 레거시 시스템 마이그레이션, 블랙박스 API 역공학, 과학적 알고리즘 귀추와 같은 작업에 필수적입니다.
• 구조적 제약: 소프트웨어 공학 원칙 (특히 TDD 의 TPP) 을 자율 에이전트의 구조적 제약으로 적용하면 과적합을 효과적으로 완화하고 광범위한 가설 공간을 탐색하는 데 도움이 된다는 것을 입증합니다.
• 일반화 능력: 구조화되고 피드백 기반인 진화적 탐색이 다양한 도메인과 모델 백본에 걸쳐 LLM 의 귀납 및 발견 능력을 크게 향상시킬 수 있음을 증명하여, 단순 프롬프팅이나 스케일링을 통해 달성 가능한 자동화된 프로그램 발견의 한계를 넘어서게 합니다.

저자들은 이 작업이 I/O 행동으로부터의 프로그램 발견이라는 더 넓은 문제에 주목하게 하며 자연어 기반 생성을 넘어선 추가적인 탐구를 고무한다고 결론지었습니다.