기술 요약: RSIBench-Data

문제 정의

재귀적 자기 개선(Recursive Self-Improvement, RSI)을 위해서는 AI 시스템이 모델의 실패 증거를 효과적인 개선 사항으로 반복적으로 변환할 수 있어야 합니다. 이 과정의 핵심 구성 요소는 **데이터 중심 포스트 트레이닝 연구(data-centric post-training research)**이며, 이는 역량 격차를 진단하고, 훈련 데이터 전략을 설계하며, 체크포인트 피드백으로부터 학습하는 과정을 포함합니다. 최근의 벤치마크들은 자동화된 포스트 트레이닝 시스템을 평가하고 있지만, 종종 연구 결정과 최적화, 서빙, 그리고 시스템 구현을 혼재시켜 놓습니다. 이러한 결합은 대규모 언어 모델(LLM) 에이전트의 구체적인 연구 역량을 분리하여 평가하는 것을 어렵게 만듭니다. 기존의 패러다임들은 고정된 코퍼스로부터의 정적인 데이터 선택에 집중하거나, 인프라의 변화가 에이전트의 연구 정책(research policy)에 대한 평가를 방해하는 엔드 투 엔드(end-to-end) 시스템을 평가합니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: LLM 에이전트가 데이터 중심 포스트 트레이닝 연구를 안정적으로 자동화할 수 있는가? 구체적으로, 에이전트가 주변의 훈련 및 평가 스택이 고정된 상태에서, 모델의 실패에 대한 가설을 세우고, 이를 실행 가능한 훈련 데이터로 변환하며, 통제된 피드백을 바탕으로 자신의 합성 전략을 수정할 수 있는가 하는 점입니다.

방법론: RSIBench-Data

이러한 간극을 메우기 위해, 저자들은 RSI의 데이터 중심 연구 구성 요소를 격리하여 설계된 통제된 벤치마크인 RSIBench-Data를 소개합니다.

1. 고정된 인프라 및 경계

에이전트가 전체 포스트 트레이닝 스택을 수정할 수 있도록 허용하는 이전의 벤치마크들과 달리, RSIBench-Data는 "주변 스택"을 고정하여 성능 변화가 오직 에이전트의 연구 결정에 의해서만 발생하도록 보장합니다.

• 베이스 모델: 모든 실험에는 고정된 베이스 모델($M_0$)이 사용됩니다.
• 훈련 인터페이스: 에이전트는 제한된 구성 인터페이스를 통해 상호작용합니다. 에이전트는 훈련 데이터($D_t$)와 화이트리스트에 포함된 구성($c_t$)을 제출할 수 있지만, 옵티마이저, 서빙 경로 또는 공유된 Tinker 서비스로 구현된 기저의 LoRA SFT 백엔드를 수정할 수는 없습니다.
• 평가: 공식 평가는 고정된 검증기(verifier)와 점수 산정 규칙을 가진 Harbor 기반의 E2B 샌드박스를 통해 수행됩니다. 에이전트는 반복을 위한 허용된 선택 피드백(점수, 궤적, 진단 결과)만을 받을 뿐, 최종적인 공식 결과는 받지 못합니다.

2. 연구 루프 (The Research Loop)

이 벤치마크는 고정된 자원 예산($\mathcal{C}$) 하에서 작동하는 연구자 에이전트($\pi$)의 반복 프로세스를 평가합니다.

1. 가설 및 전략: 에이전트는 벤치마크 증거($S$)와 이력($H_{<t}$)을 관찰하여 훈련 데이터 전략을 제안합니다.
2. 합성 및 훈련: 에이전트는 데이터를 합성하여 훈련에 제출하고, 체크포인트($M_t$)를 생성합니다.
3. 피드백: 고정된 평가 서비스가 선택 피드백($h_t$)을 반환합니다.
4. 수정: 에이전트는 다음 라운드를 위해 전략을 정교화하거나 최종 체크포인트를 선택하기 위해 $h_t$를 사용합니다.

주요 지표는 홀드아웃 테스트 세트에 대한 선택된 체크포인트($M_{t^*}$)의 공식 성능이며, 부차적으로 시도 궤적 및 자원 효율성을 분석합니다.

3. 실험 설정

• 에이전트: 네 가지 프런티어 LLM 연구자 에이전트가 평가되었습니다: Claude Code (Opus-4.8, Sonnet-5) 및 Codex (gpt-5.6-sol, gpt-5.6-terra).
• 벤치마크: 서로 다른 훈련 경험 레짐(regime)을 테스트하기 위해 6개의 뚜렷한 벤치마크가 사용되었습니다:
  • 소프트웨어 엔지니어링: SWE-bench Verified, Multilingual, Pro.
  • 터미널 사용: Terminal-Bench 2.0.
  • 추론: GPQA Diamond 및 AIME 2026.
• 제약 조건: 각 실행은 고정된 예산(예: 16시간 벽시계 시간, $500 Tinker 비용)과 엄격한 데이터 사용 제약(예: 훈련 시 평가 전용 레이블 사용 금지)을 가집니다.

주요 기여

1. 새로운 평가 대상 정의: 본 논문은 "재귀적 자기 개선을 위한 데이터 중심 연구"를 에이전트가 고정된 예산 하에서 가설 형성, 전략 검증, 체크포인트 선택을 관리하는 별도의 자동화 가능한 연구 루프로 정의합니다.
2. 통제된 벤치마크 제공: RSIBench-Data는 훈련, 서빙, 평가 인프라를 고정함으로써 에이전트의 연구 능력을 격리하여 평가하는 최초의 벤치마크를 제공합니다. 이를 통해 인프라의 변화와 연구의 진보를 분리하여 감사 가능한 실험을 가능하게 합니다.
3. 역량과 취약성에 대한 실증적 증거: 본 연구는 프런티어 에이전트들이 이 특정 역할에서 어떻게 수행되는지에 대한 첫 번째 대규모 증거를 제공하며, "발견-신뢰성 간극(discovery–reliability gap)"을 드러냅니다.

결과 및 분석

1. 발견 vs. 신뢰성 (Discovery vs. Reliability)

• 초기 성공: 에이전트들은 피드백을 바탕으로 전략을 정교화함으로써, 첫 번째 유효한 시도 이후에 성능을 개선하는 핵심 연구 능력을 보여주었습니다 (**58.33%**의 설정에서).
• 불일치성: 그러나 에이전트들이 일관되게 개선되지는 못했습니다. 최고 점수에 도달한 후에도 탐색을 지속한 사례 중, **78.26%**가 최고점을 밑도는 낮은 점수로 최종 시도가 끝났으며, 나머지는 동일한 최고점에 머물렀습니다. 이는 에이전트가 추가적인 피드백을 더 나은 전략으로 전환하는 데 자주 실패하며, 이로 인해 비단조적(non-monotonic)인 성능을 보임을 나타냅니다.

2. 작업 의존성 및 우위의 부재

• 모든 벤치마크에서 압도적인 우위를 점한 단일 에이전트는 없었습니다. 예를 들어, Codex gpt-5.6-sol은 비-SWE 벤치마크에서 앞섰지만, 세 가지 SWE 스타일 작업은 각각 서로 다른 세 명의 에이전트에 의해 승리되었습니다.
• 성능 격차는 상당했습니다 (AIME 2026에서 최대 20 퍼센트 포인트). 이는 에이전트의 고유한 모델 우월성보다는 에이전트 정책과 벤치마크 구조 사이의 상호작용을 반영합니다.

3. 효율성 및 비용

• 높은 공식 점수가 반드시 높은 비용을 의미하지는 않았습니다. 일부 에이전트는 낮은 비용으로 강력한 결과를 달성했습니다 (예: GPQA Diamond에서의 Codex gpt-5.6-sol: 65% 점수, $10.37 비용). 반면 다른 에이전트들은 미미한 이득을 위해 훨씬 더 많은 비용을 썼습니다.
• 정점 이후의 퇴보 (Post-Peak Regression): 많은 실행이 강력한 후보를 찾은 후에도 탐색을 계속하여, 성능의 전선(frontier)을 갱신하지 못한 채 추가 비용을 발생시켰습니다. 효과적인 중단(stopping)과 체크포인트 선택이 효율성을 위한 핵심 요소로 식별되었습니다.

4. 메커니즘 분석

성공적인 실행의 궤적 분석을 통해 강력한 성능과 연관된 네 가지 패턴을 확인했습니다:

1. 정확한 가설: 타겟 역량 격차를 정확히 진단함.
2. 검증에 기반한 감독: 검증 신호를 사용하여 데이터 합성을 유도함.
3. 행동 정렬 데이터: 훈련 데이터가 평가되는 행동과 일치하도록 함.
4. 체크포인트 보존: 반복적인 수정 과정에서 강력한 체크포인트를 잃지 않음.

동일 계열의 RSI 설정(Kimi-K2.6)을 이용한 초기 실험에서는 전략의 진화는 나타났으나, 적응되지 않은 참조 모델보다 개선된 모델을 생성하는 데는 실패했습니다. 이는 현재의 RSI 역량이 복잡한 에이전트 벤치마크에서 이미 유능한 인스트럭션 튜닝 모델을 개선하기에는 불충분함을 시사합니다.

의의 및 주장

본 논문은 RSIBench-Data가 재귀적 자기 개선에 필요한 데이터 중심 연구 능력을 연구하기 위한 측정 가능하고 감사 가능한 테스트베드를 제공한다고 주장합니다.

저자들은 현재의 LLM 에이전트가 유용한 데이터 중심 연구 발견을 할 수는 있지만 (절반 이상의 사례에서 첫 시도를 개선함), 피드백을 일관된 개선으로 전환하는 데는 아직 어려움을 겪고 있다고 결론짓습니다. 관찰된 "발견-신뢰성 간극"은 에이전트가 반복적인 피드백 루프를 통해 진전을 유지하는 데 어려움을 겪으며, 종종 정점에 도달한 후 퇴보한다는 점을 강조합니다. 이 벤치마크는 연구 프로세스를 인프라 변수로부터 투명하고 격리되게 만듦으로써, 더욱 신뢰할 수 있는 데이터 중심 연구 에이전트를 개발하는 데 도움을 주도록 설계되었습니다.