InnoGym: Benchmarking the Innovation Potential of AI Agents

이 논문은 기존 벤치마크가 간과한 해결책의 다양성과 독창성을 평가하기 위해 성능 향상과 신규성 지표를 도입한 AI 에이전트의 혁신 잠재력 평가 프레임워크인 'InnoGym'을 제안하고, 창의성과 효과성 간의 간극을 실증적으로 분석합니다.

핵심

🚀 인노짐 (InnoGym): AI 의 '창의성'을 측정하는 새로운 운동장

안녕하세요! 이 논문은 인공지능 (AI) 이 단순히 문제를 정답을 맞추는 것을 넘어, 얼마나 창의적이고 혁신적인 방법으로 문제를 해결하는지 평가하는 새로운 기준을 제시합니다.

기존의 AI 평가 방식이 "정답이 맞나요?"라고만 물었다면, 이 논문은 **"그 정답을 어떻게 찾아냈나요? 더 좋은 방법은 없나요?"**라고 묻습니다.

이 내용을 쉽게 이해할 수 있도록 요리사와 운동선수에 비유해서 설명해 드릴게요.

---

1. 기존 평가의 한계: "정답만 맞으면 OK?" 🤔

지금까지의 AI 벤치마크 (시험) 는 마치 **"요리 대회에서 맛만 보고 점수를 주는 것"**과 비슷했습니다.

• 상황: 두 요리사가 모두 '불고기'를 만들었습니다.
• 기존 평가: 둘 다 맛이 좋으면 (정답이면) 둘 다 100 점입니다.
• 문제점: 한 요리사는 100 년 된 전통 레시피를 그대로 썼고, 다른 요리사는 전혀 새로운 재료를 섞어 혁신적인 불고기를 만들었습니다. 그런데 점수는 똑같습니다. **창의성 (혁신)**이 무시된 것입니다.

2. 인노짐 (InnoGym) 의 등장: "방법도 점수다!" 🏆

이 논문은 **InnoGym(인노짐)**이라는 새로운 운동장을 만들었습니다. 여기서는 AI 가 문제를 해결할 때 두 가지 점수를 매깁니다.

📏 점수 1: 성능 향상 (Performance Gain)

• 비유: "이 요리가 기존 최고의 불고기보다 더 맛있나요?"
• 의미: AI 가 기존에 알려진 최고의 방법보다 더 좋은 결과를 냈는지 확인합니다. (예: 더 빠르고, 더 정확하고, 더 저렴함)

✨ 점수 2: 참신함 (Novelty)

• 비유: "이 요리사가 기존 레시피와 전혀 다른 새로운 방식을 썼나요?"
• 의미: 정답을 맞췄더라도, 그 과정이 기존과 얼마나 다른지 측정합니다. 완전히 새로운 조리법을 썼다면 높은 점수를 줍니다.

핵심 메시지: 진짜 혁신은 **"더 좋은 결과 (성능)"**와 **"새로운 방법 (창의성)"**을 동시에 잡는 것입니다.

---

3. 인노짐의 구성: 18 가지 미션과 실험실 🧪

이 운동장에는 18 가지 미션이 준비되어 있습니다.

• 미션 내용: 실제 공학이나 과학에서 해결되지 않은 문제들입니다. (예: 원들을 최대한 많이 채워 넣는 문제, 약을 개발하는 문제 등)
• 특징: 이 문제들은 "이미 정답이 정해져서 더 이상 개선할 여지가 없는 문제"나 "아무도 정답을 모르는 너무 어려운 문제"가 아니라, **"사람도 해결했지만 더 잘할 수 있는 여지가 있는 문제"**들입니다.

그리고 이 미션을 수행하기 위해 iGym이라는 통일된 실험실 (환경) 을 제공했습니다.

• 비유: 모든 요리사가 같은 주방, 같은 재료를 쓰게 해서 공정한 비교를 할 수 있게 만든 것입니다.

---

4. 실험 결과: "창의성은 있는데, 실수는 많아요" 📉

저희는 최신 AI 에이전트 (로봇 요리사) 들을 이 운동장에 투입해 봤습니다. 결과는 어땠을까요?

1. 아직 인간보다 부족합니다: 복잡한 문제에서 AI 는 아직 인간 전문가의 실력을 따라가지 못했습니다.
2. 창의성 vs 안정성: 어떤 AI 는 정말 **새로운 방법 (창의성)**을 찾아냈습니다. 하지만 그 방법이 잘못 작동하거나 (버그) 결과가 불안정해서, 실제 성능은 떨어졌습니다.
   • 비유: "완전히 새로운 레시피를 생각해냈는데, 요리하는 도중 불이 나거나 음식이 타버린 경우"입니다.
3. 교훈: 창의성만으로는 부족합니다. 새로운 아이디어를 내는 것도 중요하지만, 그 아이디어가 실제로 잘 작동하고 견고해야 (Robustness) 진정한 혁신이라고 할 수 있습니다.

---

5. 결론: AI 의 다음 단계는? 🌟

이 논문은 우리에게 중요한 메시지를 줍니다.

"AI 가 정답을 맞추는 것만으로는 충분하지 않습니다. 우리는 AI 가 기존과 다른 새로운 길을 찾아내고, 그 길이 실제로 더 좋은 결과를 가져오는지를 함께 평가해야 합니다."

**인노짐 (InnoGym)**은 앞으로 AI 가 단순한 '정답 기계'를 넘어, 진정한 '혁신가'가 되기 위한 나침반이 될 것입니다.

---

한 줄 요약:

"정답만 맞추는 AI 는 이제 그만! 더 좋은 방법과 새로운 아이디어를 동시에 찾아내는 '진짜 혁신가' AI 를 위한 새로운 시험지가 나왔습니다."

기술 요약

InnoGym: AI 에이전트의 혁신 잠재력 벤치마킹 (InnoGym: Benchmarking the Innovation Potential of AI Agents)

이 논문은 현재 AI 에이전트 평가 체계가 주로 '정답의 정확성'에만 초점을 맞추고 있어, 문제 해결 과정의 **혁신성 **(Originality)과 방법론적 다양성을 간과하고 있다는 문제를 지적합니다. 저자들은 이를 해결하기 위해 InnoGym이라는 새로운 벤치마크와 프레임워크를 제안합니다.

1. 문제 정의 (Problem)

기존의 LLM 및 에이전트 벤치마크 (예: MATH, SWE-Bench 등) 는 정답이 맞는지 여부 (Correctness) 만을 평가 기준으로 삼습니다. 그러나 진정한 혁신은 단순히 정답을 얻는 것을 넘어, 기존과 다른 독창적인 방법론으로 문제를 해결하거나 기존 최선의 성능을 능가하는 새로운 해법을 찾는 것에 있습니다.

• 한계: 두 에이전트가 동일한 정답을 도출하더라도, 하나는 기존 방법의 단순 반복이고 다른 하나는 혁신적인 접근일 수 있습니다. 기존 벤치마크는 이 차이를 구별하지 못합니다.
• 필요성: 창의성 (Novelty) 과 효과성 (Effectiveness) 을 동시에 평가할 수 있는 체계가 필요합니다.

2. 방법론 (Methodology)

2.1 혁신의 정의 및 측정 프레임워크

저자들은 혁신을 정량화하기 위해 작업을 4 중항 (Quadruple) $T = (P, S, V, D)$로 정의합니다.

• $P$: 문제 인스턴스 (문제 설명, 제약 조건 등)
• $S$: 해법 공간 (실행 가능한 코드, 알고리즘 등)
• $V$: 성능 측정 지표 (정확도, 통과율 등)
• $D$: 해법 간 비유사성 (Dissimilarity) 측정 함수

이를 바탕으로 두 가지 핵심 지표를 도입합니다:

1. **성능 향상 **(Performance Gain, $G$) 알려진 최선의 해법 (Baseline) 대비 새로운 해법의 성능 개선 정도.
   • $G(s) = V(s) - V^*_{known}$
2. **신규성 **(Novelty, $N$) 기존 해법 집합 ($S_{known}$) 과의 방법론적 차이.
   • $N(s) = C(s) \cdot \min_{h \in S_{known}} D(s, h)$ (여기서 $C(s)$는 실행 가능성 검증)

이 두 지표를 통해 해법을 ** breakthrough innovation **(높은 $G$, 높은 $N$), **performance innovation **(높은 $G$, 낮은 $N$), **conceptual innovation **(낮은 $G$, 높은 $N$) 등으로 분류합니다.

2.2 InnoGym 벤치마크 (iBench)

• 데이터 구성: 실제 엔지니어링 (ROADEF Challenge 등) 및 과학적 문제 (2D-BPP 등) 에서 선별된 **18 개의 '개선 가능한 작업 **(Improvable Tasks)으로 구성됩니다.
  • *해결된 문제 (Solved Problems)*나 *탐색적 문제 (Exploratory Problems, 검증 기준 부재)*는 제외하고, 명확한 개선 여지가 있는 작업만 포함합니다.
• 표준화 프로세스:
  1. 자원 필터링: 데이터, 검증기 (Validator), 리더보드, 참조 해법 등의 가용성 확인.
  2. 검증기 및 평가자 정제: 실행 가능성, 정확성, 절대 점수 변환 (상대 순위 -> 절대 점수) 수행.
  3. 해법 수집 및 구조화: 기존 리더보드 해법과 논문을 수집하여 Codex 를 통해 핵심 전략을 추출 (summary.md, pseudocode.tex) 하여 신규성 평가에 활용.
  4. 데이터 분할: 에이전트에게 보이는 데이터 (Dev) 와 보이지 않는 평가 데이터 (Hidden) 로 분리.

2.3 실행 환경 (iGym)

• 목적: 다양한 에이전트 시스템 간의 공정한 비교와 장기간 (Long-horizon) 문제 해결을 지원하기 위한 통합 SDK.
• 특징: 기존 프레임워크 (OpenHands, AutoGen 등) 의 한계를 보완하여, 장시간 실행 시의 복구 (Recovery), 동시성 (Concurrency), 일관된 도구 관리 기능을 제공합니다.

2.4 평가 파이프라인

1. 제출: 에이전트가 가시 데이터와 도구만을 사용하여 해법 생성.
2. 성능 평가: 유효한 제출 ($C(s)=1$) 일 경우 평가자 (Evaluator) 가 점수 산출.
3. 신규성 평가: Codex 를 활용한 '에이전트 심사관 (Agent-as-judge)' 프로세스를 통해 제출된 해법의 핵심 전략을 추출하고, 기존 해법과의 방법론적 차이를 6 가지 차원에서 점수화하여 $N(s)$ 계산.

3. 주요 기여 (Key Contributions)

1. 원칙적인 프레임워크 제안: 성능 향상 ($G$) 과 방법론적 신규성 ($N$) 을 결합하여 AI 에이전트의 혁신을 정의하고 측정하는 체계 정립.
2. InnoGym 벤치마크 출시: 실제 공학 및 과학 분야에서 선별된 18 개의 표준화된 개선 가능 작업 (Improvable Tasks) 으로 구성된 최초의 혁신 잠재력 평가 벤치마크.
3. iGym 실행 환경 제공: 재현 가능하고 장기간의 평가를 지원하는 통합 에이전트 실행 환경.
4. 실증 분석: 최신 에이전트들을 대상으로 한 실험을 통해 '혁신성'과 '견고성 (Robustness)' 간의 간극을 규명.

4. 실험 결과 (Results)

저자들은 MLAB, CODEACT, AIDE 등 3 가지 주요 에이전트 프레임워크를 iBench 의 10 개 주요 작업에서 평가했습니다.

• 성능 격차: 모든 에이전트가 복잡한 작업에서 인간 최상위 수준 (Human SOTA) 을 능가하지 못했습니다. 특히 복잡한 데이터 형식이나 요구사항이 있는 작업 (CDML, PTTALC 등) 에서는 유효한 해법을 생성하지 못했습니다.
• 혁신성 vs 견고성:
  • 일부 에이전트 (특히 MLAB) 는 높은 신규성 ($N$) 과 성능 향상 ($G$) 을 동시에 보여주며 혁신적인 성과를 보였습니다.
  • 그러나 많은 경우, 높은 신규성을 가진 해법이 실행 오류나 낮은 정확도로 인해 실제 성능 향상으로 이어지지 않았습니다.
  • 핵심 발견: "신규성 (Novelty) 만으로는 부족하며, 실제 혁신은 독창성과 정확성/견고성이 결합되어야 한다."는 결론을 도출했습니다.
• 모델 영향: 베이스 LLM 의 성능 (예: Gemini-2.5-Pro, GPT-5 가 DeepSeek-v3.1 보다 우세) 이 에이전트의 최종 성과에 결정적인 영향을 미쳤으며, 에이전트 프레임워크는 모델의 능력을 증폭시키는 역할을 합니다.
• 탐색 - 활용 트레이드오프: 샘플링 온도 (Temperature) 를 조절하여 탐색 (Novelty 증가) 과 활용 (Performance 향상) 사이의 균형을 분석했으며, 중간 온도 (0.5~0.75) 에서 최적의 균형을 찾을 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

InnoGym 은 AI 에이전트의 능력을 단순한 '정답 맞추기'를 넘어 **'창의적인 문제 해결 능력'**을 평가할 수 있는 새로운 기준을 제시합니다.

• 연구 방향 전환: 향후 AI 연구는 단순히 성능을 높이는 것을 넘어, 견고한 실행력을 바탕으로 한 방법론적 혁신을 추구해야 함을 강조합니다.
• 표준화: 다양한 도메인 (ML, 과학, 최적화 등) 에서 재현 가능한 혁신 평가를 가능하게 하여, AI 의 창의적 잠재력을 체계적으로 발전시키는 플랫폼 역할을 할 것으로 기대됩니다.

요약하자면, InnoGym 은 "올바른 답을 내는 것"과 "새로운 방식으로 올바른 답을 내는 것"을 동시에 평가할 수 있는 첫 번째 체계로서, AI 에이전트의 다음 단계 발전을 위한 중요한 이정표가 됩니다.