💻 computer science

Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds

이 논문은 통제된 실험을 통해 지속적인 기술 진화가 추가적인 정교화 단계로부터 얻어지는 일관된 이득이라기보다는 피드백 역학 및 특정 모델-벤치마크 상호작용에 크게 의존하는 희소하고 검증으로 필터링된 탐색 과정임을 입증함으로써, 자기 진화 에이전트 기술의 꾸준한 향상이라는 개념에 이의를 제기한다.

원저자: Yuxuan Liu, Zhaochen Su, Yuhao Zhang, Jiahe Guo, Zhongwei Xie, Huihao Jing, Lingyun Xie, Qing Zong, Yauwai Yim, Zhixiong Zhang, Haoran Li, Yangqiu Song

게시일 2026-08-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuxuan Liu, Zhaochen Su, Yuhao Zhang, Jiahe Guo, Zhongwei Xie, Huihao Jing, Lingyun Xie, Qing Zong, Yauwai Yim, Zhixiong Zhang, Haoran Li, Yangqiu Song

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 수학 문제를 풀거나 코드를 작성하는 것과 같은 놀라운 일을 할 수 있는 아주 똑똑한 로봇 비서가 있다고 상상해 보세요. 하지만 때때로 이 로봇은 실수를 합니다. 인공지능의 세계에는 '자기 진화(self-evolving)'라는 유명한 아이디어가 있습니다. 꿈꾸는 모습은, 단순히 실수를 한 번 고치는 것에 그치지 않고, 로봇이 자신의 실수로부터 배우고, 자신을 위한 새로운 규칙을 작성하며, 그 규칙을 영원히 기억하는 것입니다. 이것은 마치 시험에서 낙제한 후, 선생님이 뇌를 다시 써주지 않아도 다음 시험에서 만점을 받을 수 있도록 자신만의 새로운 학습 가이드를 노트에 적어 넣는 학생과 같습니다.

하지만 여기서 큰 질문이 생깁니다. 이것이 실제로 효과가 있을까요? 모든 시도(성공한 것과 실패한 것 모두)를 살펴보는 것이 로봇이 더 잘 배우는 데 도움이 될까요? 아니면 무엇이 잘못되었는지 알아내기 위해 오직 실패 사례만을 보는 것이 더 현명할까요? 그리고 단순히 더 많은 컴퓨팅 파워를 사용하여 같은 작업을 반복해서 시도하는 것이, 영구적인 새로운 규칙을 쓰는 것보다 더 나은 방법일까요? 이 논문은 '자기 진화'가 마법의 해결책인지, 아니면 아주 작은 보상을 위해 너무 많은 노력을 들이는 일인지를 알아보기 위해 이 질문들을 파고듭니다.

위대한 로봇 기술 탐색

연구진들은 AI 에이전트가 실제로 어떻게 학습하는지 알아보기 위해 거대한 실험을 설계했습니다. 그들은 AI를 게임 캐릭터가 자신의 '기술' 레벨을 올리려는 것처럼 취급했습니다. 그들은 AI에게 게임 플레이로부터 학습하는 세 가지 다른 방법을 제시했습니다:

"일반적인" 관점: AI가 승리와 패배를 모두 봅니다.
"실패 전용" 관점: AI가 오직 자신의 실수만을 봅니다.
"성공 전용" 관점: AI가 오직 자신의 승리만을 봅니다.

그들은 이 실험을 14가지 서로 다른 시나리오에 걸쳐 실행했으며, 세 가지 강력한 AI 모델과 트리비아(상식) 질문 답변부터 복잡한 스프레드시트 조작에 이르기까지 다섯 가지 유형의 도전 과제를 사용했습니다.

놀라운 사실: 진화는 드물고 까다롭다

가장 충격적인 사실은 무엇일까요? 진화는 믿기 힘들 정도로 드뭅니다. 더 나은 기술을 만들기 위한 388번의 시도 중, 엄격한 테스트를 통과하여 구별되는 개선된 버전을 만들어낸 것은 단 55번뿐이었습니다. 이것은 완벽한 케이크를 388번 굽는 동안, 원래 레시피보다 실제로 더 나은 케이크를 얻는 경우가 55번뿐인 것과 같습니다.

더 놀랍게도, "성공 전용" 관점은 완전히 실패였습니다. 본 연구에서 단 하나도 개선된 기술이 승리만을 보고 얻어진 것이 아니었습니다. AI는 무엇을 고쳐야 할지 알아내기 위해 반드시 실패를 목격해야 했습니다. 실제로 연구진이 보존하기로 결정한 11개의 가장 우수한 기술 모두가 최소한 일부 실패를 포함하는 관점에서 나왔습니다.

"탐색" 대 "꾸준한 상승"

많은 사람들은 만약 AI가 더 많은 라운드를 계속 수행하도록 내버려 둔다면, 사다리를 오르는 것처럼 꾸준히 나아질 것이라고 생각했습니다. 논문은 이것이 틀렸다고 제안합니다. 대신, 이 과정은 어두운 동굴 속에서 숨겨진 보물을 찾는 것과 더 비슷합니다.

때때로 AI는 첫 번째 시도에서 바로 훌륭한 새로운 기술을 찾아냅니다. 또 어떤 때는 작동하지 않는 많은 아이디어들을 시도하며 한참을 헤매다가, 9번째 라운드에서 갑자기 멋진 해결책을 우연히 발견하기도 합니다. 하지만 자주 AI는 벽에 부딪혀 성장이 완전히 멈춰버립니다. 연구진은 더 많은 라운드를 기다리는 것이 더 나은 기술을 보장하는 것이 아니라, 단지 더 많은 시간과 비용을 소모할 뿐이라는 것을 발견했습니다.

"마술 트랙" 비교

연구진은 또한 영구적인 새로운 기술을 작성하는 것이 단순히 더 많은 컴퓨팅 파워를 사용하여 해당 작업을 여러 번 시도하는 것보다 실제로 더 나은지 물었습니다.

그들은 "진화된" 기술을 다음 두 가지 방법과 비교했습니다:

병렬 샘플링(Parallel Sampling): 작업을 동시에 여러 번 시도하고 가장 좋은 답을 고르는 것.
순차적 정교화(Sequential Refinement): 작업을 시도하고, 결과를 보고, 그에 따라 다시 시도하는 것.

결과는 엇갈렸습니다. SearchQA라는 트리비아 질문 게임의 경우, "진화된" 기술은 단순히 여러 번 시도하는 것보다 약간 더 나은 수준이었습니다. AI의 새로운 규칙은 주로 답의 형식을 예쁘게 만드는 것에 불과했는데, 이는 몇 번의 추측만으로도 얻을 수 있는 것입니다.

하지만 SpreadsheetBench라는 스프레드시트 도전 과제의 경우, 차이가 엄청났습니다. 진화된 기술은 가장 좋은 "여러 번 시도하기" 방법보다 30.96 포인트나 더 높았습니다. 왜일까요? 스프레드시트 작업은 복잡한 다단계 워크플로우(파일을 확인하고, 스크립트를 실행하고, 저장하고, 검증하는 과정 등)를 요구하기 때문입니다. 단순히 "추측"해서는 그 과정을 통과할 수 없으며, 이를 제대로 수행하기 위해서는 기록된 영구적인 규칙이 필요합니다.

결론

그렇다면 결론은 무엇일까요? 자기 진화하는 AI 기술은 꾸준하고 자동적인 업그레이드가 아닙니다. 그것은 희소하고, 맞히거나 틀리거나 하는 식의 탐색이며, 특정 AI 모델과 특정 작업에 크게 의존합니다.

만약 당신이 AI가 복잡한 다단계 작업(스프레드시트 처리와 같은)을 더 잘하게 만들고 싶다면, 실패로부터 배우고 영구적인 규칙을 작성하도록 가르치는 것이 판도를 바꾸는 게임 체인저가 될 것입니다. 하지만 작업이 단순하거나 단순히 더 나은 답변 형식이 필요한 것이라면, AI에게 더 많은 시간을 주어 계속 시도하고, 시도하고, 또 시도하게 하는 것만으로도 충분히 좋은 결과를 얻을 수 있습니다. 이 논문은 우리가 마법을 기대하기보다는, 자기 진화를 적절한 도구를 찾기 위한 신중하고 필터링된 탐색 과정으로 보아야 한다고 제안합니다.

기술 요약: 자기 진화형 에이전트 기술의 재고

문제 정의

자기 진화형 기술 시스템은 모델의 기본 파라미터를 수정하지 않고도 실행 피드백을 지속적인 기술 업데이트로 전환함으로써 에이전트의 성능을 향상시키는 것을 목표로 한다. 기존 연구들은 기술이 없는 베이스라인이나 심지어 사람이 작성한 기술보다 높은 성능을 보고하고 있지만, 이 분야는 세 가지 핵심적인 역학 관계에 대한 명확한 이해가 부족하다:

피드백 구성 (Feedback Composition): 성공적인 궤적(trajectories), 실패한 궤적, 또는 두 가지의 혼합 중 무엇이 기술 수정을 형성하는 데 가장 효과적인지는 불분명하다.
진화 궤적 (Evolution Trajectory): 기존 평가 방식은 종종 "전후" 점수만을 보고하여, 탐색 과정, 기각된 후보들, 그리고 추가적인 진화 라운드가 수확 체감(diminishing returns)을 일으키는지 아니면 꾸준한 개선을 가져오는지에 대한 정보를 가린다.
지속성의 가치 (Value of Persistence): 지속적인 기술 진화로부터 얻는 이득이 (기술이라는 결과물을 변경하지 않고) 테스트 시 연산량(예: 병렬 샘플링 또는 순차적 정교화)을 늘리는 것으로 재현될 수 있는지 여부는 여전히 불확실하다.

현재의 시스템들은 일반적으로 고유한 피드백 정책을 전체로서 평가하며, 고정된 수정 절차 하에서 서로 다른 증거 유형(성공 vs 실패)의 구체적인 기여도를 분리해내지 못한다.

방법론

저자들은 여러 모델과 벤치마크에 걸쳐 피드백 구성과 진화 역학의 효과를 격리하여 조사하도록 설계된 통제된 평가 프레임워크를 제시한다.

실험 설정

모델: 주요 연구에는 GPT-5.5, Gemini 3.1 Pro, DeepSeek V4-Pro의 세 가지 기본 모델이 사용된다. 더 넓은 분석은 SearchQA 벤치마크를 위해 8개의 모델까지 확장된다.
벤치마크: 다섯 가지 이질적인 벤치마크가 사용된다: SearchQA, OfficeQA, SpreadsheetBench, LiveMath, DocVQA.
피드백 조건: 각 모델-벤치마크 설정에 대해, 동일한 부모 기술에서 시작하고 동일한 실행기/최적화기 구성, 수정 절차 및 10라운드 예산을 사용하는 세 가지 피드백 뷰(view)를 비교한다:
- Normal (일반): 성공 및 실패 궤적 모두에 노출됨.
- Fail-only (실패 전용): 실패한 궤적에만 노출됨.
- Success-only (성공 전용): 성공한 궤적에만 노출됨.
진화 프로토콜: 각 라운드에서, 수정 연산자는 현재 기술과 특정 피드백 뷰를 기반으로 후보 기술을 제안한다. 후보 기술의 검증 점수가 감소하지 않는 경우에만 다음 라운드의 기술이 된다. 별도의 "최적 체크포인트(best checkpoint)"는 엄격한 검증 개선과 바이트 단위로 구별되는(byte-distinct) 후보(기술 아티팩트가 실제로 변경되었음을 보장함)가 확인될 때만 업데이트된다.
평가: 진화 후, 동결된 "검증 최적(validation-best)" 기술은 다음 항목들에 대해 평가된다:
- Released Test (배포 테스트): 표준 벤치마크 성능.
- Robustness (강건성): 동일 작업의 변형(표면 형태 변화, 방해 요소, 인터페이스 계약 변화).
- Transfer (전이): 동일 소스 또는 다른 하위 유형의 새로운 작업.
테스트 시 스케일링 제어 (Test-Time Scaling Controls): GPT-5.5의 경우, 진화된 기술을 동결된 부모 기술으로부터 초기화된 두 가지 제어군과 비교한다:
- Parallel Sampling (병렬 샘플링): $K$ 번의 시도 중 "어떠한 성공이라도 있는 경우(any-success)"에 대한 오라클(Oracle).
- Sequential Refinement (순차적 정교화): 이전 응답에 따라 후속 시도를 조건화함.

핵심 기여

교차 모델 진화 역학: 본 연구는 42개의 피드ка 런(run)에 걸쳐 388개의 후보를 추적하여, 기술 진화가 꾸준한 개선이 아니라 희소하고 비단조적인(non-monotonic) 탐색의 특성을 가짐을 밝혀냈다. 또한 다양한 모델 제품군 전반에서 나타나는 늦은 발견, 조기 포화, 그리고 완전한 정체를 기록했다.
통제된 피드백 비교: 피드백 뷰를 고정함으로써, 본 논문은 피드백 뷰의 영향을 격리했다. 연구 결과, 선택된 11개의 진화된 기술 모두가 실패 궤적을 포함하는 조건(Normal 또는 Fail-only)에서 생성되었으며, Success-only는 한 번도 선택되지 않았음을 입증했다.
진화 vs 테스트 시 연산량: 본 논문은 지속적인 기술 이득과 인스턴스당 추론 이득을 명시적으로 구분한다. 테스트 시 스케일링이 일부 이득(예: SearchQA)을 회복할 수는 있지만, 복잡한 다단계 워크플로우(예: SpreadsheetBench)에서 관찰되는 상당한 개선은 재현하지 못함을 보여준다.

주요 결과

1. 희소성 및 피드백 의존성

희소한 성공: 388개의 후보 중 단 55개만이 바이트 단위로 구별되는 검증 최적치를 확립했다.
선택 편향: 검증 과정에서 14개 설정 중 11개에서 진화된 기술을 선택했다. 11개의 선택 모두 실패 궤적을 포함하는 피드백 뷰(Normal 9개, Fail-only 2개)에서 기인했다. 주요 연구에서 Success-only는 전혀 선택되지 않았다.
성능 이득: 선택된 11개 기술 중 9개가 배포 테스트 성능을 향상시켰다. SpreadsheetBench는 가장 일관되고 큰 폭의 이득(최대 +37.7 포인트)을 보였고, SearchQA는 상대적으로 작고 가변적인 이득을 보였다.
일반화: 선택된 기술들은 9개 설정에서 강건성과 전이 성능을 모두 개선했으며, 그중 7개는 두 가지 모두를 개선했다. 그러나 일반화가 보장되는 것은 아니다. 예를 들어, GPT-5.5의 LiveMath 실험에서는 강건성은 개선되었으나 테스트 성능은 손실되었다.

2. 진화 궤적

비단조적 탐색: 진화는 "검증 필터링된 탐색"처럼 동작한다. 이득은 꾸준하지 않다. 실행 과정은 종종 포화(예: SpreadsheetBench Normal이 라운드 3에서 정점을 찍고 이후 하락)를 보이거나 늦은 발견(예: SearchQA Normal이 정체기 이후 라운드 9에서 개선됨)을 보인다.
라운드 예산: 새로운 최적치가 전체의 69%가 1~~4라운드에서 발생함에도 불구하고, 11개의 최종 선택된 기술 중 6개는 6~~9라운드에서 처음 등장했다. 이는 평균적인 수확은 감소하더라도 후기 단계의 개선을 포착하기 위해 더 긴 예산이 필요함을 시사한다.

3. 테스트 시 스케일링 vs. 지속적 기술

SearchQA: 오라클 병렬 샘플링이 진화된 기술의 이득을 거의 회복했다(0.43 포인트 차이). 이는 해당 개선이 주로 독립적인 샘플들이 탐색할 수 있는 답변 표면 가이드(예: 정형 명칭)에 의한 것임을 시사한다.
SpreadsheetBench: 진화된 기술과 병렬 샘플링 사이에 거대한 격차(30.96 포인트)가 존재했다. 진화된 기술은 무작위 샘플링으로는 재현할 수 없는 복잡한 다단계 워크플로우(조사, 스크립트 작성, 저장, 검증)를 인코딩하고 있었다.
순차적 정교화: 두 벤치마크 모두에서 이득을 회복하는 데 실패했다. 이는 이전 응답에 조건을 거는 것이 복잡한 절차적 수리에 필요한 교정적 피드백을 본질적으로 제공하지 못함을 의미한다.

4. 아티팩트 분석

Success-only의 한계: Success-only 피드백은 부정적 대조(negative contrast)가 부족하기 때문에 부수적인 패턴에 과적합되거나 중요한 수정을 놓치는 경우가 많다. 한 사례(DeepSeek–LiveMath)에서는 검증 점수가 40.0에서 11.4로 급락하는 결과를 초래했다.
실패 기반의 특이성: Fail-only 뷰는 종종 매우 구체적인 검증기 타겟 수정(예: 스프레드시트의 빈 셀 처리)을 생성하는 반면, Normal 뷰는 이러한 내용과 성공 사례를 결리하여 가이드를 확장한다.

의의 및 주장

본 논문은 지속적인 기술 자기 진화가 꾸준하고 점진적인 개선 메커니즘이라기보다는, 희소하고 검증 필터링된 탐색 과정으로 이해되어야 한다고 주장한다.

피드백이 핵심이다: 피드백의 구성(특히 실패의 포함 여부)은 성공의 결정적인 요인이다. Success-only 피드백은 연구된 환경에서 강건한 기술 진화를 위한 충분조건이 되지 못한다.
탐색 vs. 추론: 자기 진화의 이점은 테스트 시 스케일링과 구별된다. 스케일링이 응답 다양성을 높이는 데는 도움이 될 수 있지만, 반복적인 추론 시도로는 회복할 수 없는 복잡한 다단계 절차적 지식을 인코딩하기 위해서는 지속적인 기술이 필수적이다.
평가 표준: 저자들은 단순한 전후 점수 비교를 넘어선 평가를 촉구한다. 이들은 전체 탐색 궤적, 기술의 정체성(바이트 단위 구별성), 다운스트림 일반화(강건성/전이), 그리고 정확한 테스트 시 연산 제어 항목을 보고해야 한다고 주장한다.

연구는 자기 진화가 유망하지만, 그 수익은 특정 모델, 벤치마크, 피드백 뷰에 크게 의존하며, 정체나 퇴보를 피하기 위해 탐색 과정을 신중하게 관리해야 한다고 결론짓는다.