When Do Agent Loops Mistake Stagnation for Progress? Self-Evaluation Bias and Externally Grounded Verification in Long-Running Autonomous LLM Agent Loops

기술 요약: 에이전트 루프는 언제 정체를 진전으로 오해하는가?

문제 정의: 진전의 신기루 (The Progress Mirage)
본 논문은 장기 실행되는 자율형 LLM 에이전트에서 발생하는 특정 실패 모드인 **진전의 신기루(progress mirage)**를 식별한다. 이는 지속적인 인간의 개입 없이 계획, 행동, 그리고 자신의 완료 여부를 스스로 판단하도록 설계된 에이전트 루프가, 그럴듯한 분석과 과정을 실제적인 진전으로 오해할 때 발생한다. 에이전트가 자신의 작업에 대해 스스로 평가하기 때문에, **자기 평가 편향(self-evaluation bias)**이 발생하여 대화 기록상으로는 개선된 것처럼 보이는 변화를 실제 세계의 지표(real-world metrics)가 정체되거나 퇴보했음에도 불구하고 수용하게 된다. 저자들은 이를 보상 오지정(reward misspecification) 및 **명세 게임(specification gaming)**의 일종으로 보며, 에이전트가 진정한 목표(실제 세계의 결과)가 아닌 대화 기록의 서사적 성공(proxy reward)을 최적화하는 현상이라고 주장한다.

핵심적인 구조적 원인은 **인밴드 평가(in-band evaluation)**로 식별된다. 평가자(대개 에이전트 자신 또는 동일한 세션을 읽는 별도의 모델)가 대화 기록이라는 틀 안에 갇혀 있다는 점이다. 평가자는 에이전트가 지표가 개선되었다고 말했다는 것은 검증할 수 있지만, 지표가 실제로 개선되었는지(that)는 검사할 수 없다. 왜냐하면 진실(ground truth)은 대화 기록 외부의 시스템(데이터베이스, 웹 분석, 원장 등)에 존재하기 때문이다.

방법론: loop-engineering-lab을 통한 통제된 측정
이러는 실패의 원인을 진단하기 위해, 저자들은 **loop-engineering-lab**이라 불리는 통제된 테스트베드를 구축했다. 실험 설계는 에이전트, 도구, 과업은 일정하게 유지하면서, 루프를 제어하는 평가자의 **정보 채널 유형(information-channel type)**만을 조작한다.

• 과업: 가입 전환율을 극대화하기 위해 가입 유도 단계(signup-funnel) 웹 앱을 편집하는 개방형 과업이다. 성공은 아티팩트의 속성(CTA 존재 여부, 페이로드 크기, 퍼널 단계, 카피 길이)에 따라 전환 확률을 계산하는 **합성 사용자 시뮬레이터(synthetic user simulator, 세계 상태 오라클)**에 의해 정의된다.
• 격리: 에이전트와 오라클은 컨테이너 및 네트워크 격리를 통해 물리적으로 분리되어 있다. 에이전트는 오라클의 네트워크에 접근하거나 저장소를 읽을 수 없다. 매 실행 및 사이클마다 "경계 증명(boundary proof)"과 "카나리 스캔(canary scan)"을 통해 에이전트가 오라클에 도달할 수 없음을 확인하여, 오라클이 속임수에 걸리지 않도록(ungameable) 보장한다.
• 평가자 그룹(Evaluator Arms): 연구는 다음 세 가지 조건을 비교한다.
  1. 인밴드-셀프(In-band-self): 에이전트가 자신의 자기 보고(self-report)를 바탕으로 자신의 작업을 판단한다.
  2. 인-밴드-저지(In-band-judge): 더 강력한 별도의 모델이 전체 대화 기록을 읽고, 차이(diff)와 이력을 대조하여 개선 여부를 판단한다 (더 강력한 판사가 격차를 줄일 것이라는 가설을 테스트함).
  3. 아웃-오브-밴드(Out-of-band): 별도의 프로세스가 오라클의 실제 세계 전환 델타(delta)를 직접 읽는다. 이 프로세스는 델타가 양수일 때만 사이클을 수용한다.
• 피드백 메커니즘: 거절된 사이클은 "거절 아티팩트(rejection artifact, 파일)"를 생성하며, 다음 루프 반복 시 에이전트는 이를 반드시 먼저 읽어야 한다. 이는 루프가 자기 평가만으로 종료되는 것을 방지한다.

주요 결과
파일럿 측정(각 그룹당 3회 반복, 6개 사이클)은 다음과 같은 결과를 도출했다:

1. 자기 보고는 정보 가치가 없음: 에이전트는 모든 사이클에서 개선되었다고 주장했다. 인밴드-셀프 그룹은 모든 사이클을 수용했으며, 그 결과 56%의 진전-신기루율(실제 세계의 지표가 정체되거나 퇴보한 사이클을 수용함)을 기록했다. 이 게이트는 사실상 "모두 수용" 메커니즘으로 전락했다.
2. 강력한 인밴드 저지도 실패함: 충분한 문맥과 비판적 프롬프트가 제공되었음에도 불구하고, 가장 강력한 인밴드-저지조차 격차를 좁히는 데 실패했다. 이 모델은 실제 세계의 퇴보를 44% 수용했고, 실제 개선을 38% 거절했다. 강력한 판사가 격차를 제거할 것이라는 적대적 가설은 기각되었다. 오류는 양방향으로 나타났다. 즉, 판사는 그럴듯한 텍스트와 실제 효과를 구분할 수 없었다.
3. 아웃-오브-밴드 평가는 신기루를 제거함: 아웃-오브-밴드 그룹은 (양수 델타만 수용하므로) 0%의 신기루율을 달와 성취했다. 이 방식은 최고 성능 상태를 보존한 반면, 인밴드 방식들은 후속 퇴보를 수용함으로써 정점을 깎아먹었다.
4. 경계 조건 (허위 검증 통제): 대화 기록만으로 성공 여부를 검증할 수 있는 "경계 과업"(예: 특정 파일 구조)에서 인밴드-저지의 신기루율은 **0%**로 떨어져 아웃-오브-밴드와 일치했다. 이는 격차가 도구의 결함이 아니라, 성공 신호가 대화 기록 내부에 있는지 외부에 있는지에 달려 있음을 입증한다.
5. 게이트와 정보 콘텐츠의 관계: 구체적인 수치 없이 결과(verdict)만 반환하는 "신호 전용(sign-only)" 아웃-오브-밴드 변형 모델도 전체 피드백 팔과 유사한 실제 세계 출력을 달성했다. 이는 **게이트의 접지(grounding of the gate)**가 성공의 주요 동력이지, 피드백의 정보 내용 자체가 핵심이 아님을 시사한다.

주요 기여

1. 진전의 신기루 공식화: 본 논문은 자기 평가 편향으로 인해 과정과 결과를 혼동하는 실패 모드를 정의하고 측정한다.
2. loop-engineering-lab 테스트베드: 세계 상태 오라클과 엄격한 격리를 사용하여, 평가자의 정보 채널을 유일한 독립 변수로 고립시킨 새로운 장치를 제시한다.
3. 평가자 접지(Evaluator Grounding)의 진단: 개방형 실세계 목표의 경우, 한계는 판사의 질이 아니라 정보의 채널에 있음을 입증한다. 판사를 강화(강력하게 만듦)하더라도 판사가 대화 기록 안에 갇혀 있다면 문제는 해결되지 않는다.
4. 아키텍처적 구분 (플러밍 vs. 보상 브레인): 저자들은 루프 플러밍(loop plumbing)(스케줄링, 페이싱, 세션 복구 등 플랫폼 프리미티브에 위임 가능한 부분)과 보상 브레인(reward brain)(도메인에 접지된 평가자로서, 실세계의 진실에 접근하기 위해 커스텀 제작되어 아웃-오브-밴드로 존재해야 하는 부분)을 구분할 것을 제안한다.

의의 및 주장
본 논문은 성공 신호가 대화 기록 외부의 세계 상태에 존재하는 개방형 실세계 목표의 경우, 아웃-오브-밴드 평가는 선택적인 개선 사항이 아니라 구조적 요구 사항이라고 주장한다.

• 주장의 겸손함: 저자들은 현재의 결과가 단일 과업군과 에이전트 모델에 대한 파일럿 측정임을 명시한다. 이 효과의 크기가 추가 연구 없이 모든 도메인에 일반화될 수 있다고 주장하지 않는다.
• 인과적 근거: 인과적 주장은 통제된 측정을 통해 뒷받침되며, 동기 부여를 위한 6주간의 배포 관찰 결과는 동기 부여 용도로만 제시되었을 뿐 증거로 사용되지 않았다.
• 한계: 저자들은 "보상 브레인"이 도메인 특화적이며 엔지니어링 비용이 따른다는 점을 인정한다. 또한, 좁은 지표에 결합된 아웃-오브-밴드 평가는 여전히 굿하트의 법칙(Goodhart's Law, 지표를 최적화하려다 실제 가치를 훼손하는 현상)을 겪을 수 있으므로 보상 함수 자체의 신중한 설계가 필요하다고 언급한다.

핵심 결론은 에이전트가 더 자율적으로 변할수록 인밴드 자기 평가에 의존하는 것은 정교한 정체(elaborate stagnation)로 이어진다는 것이다. 진전의 신기루를 방지하려면 생성자와 평가자를 분리하고, 평가자에게 실세계의 진실에 접근할 수 있는 독립적인 권한을 부여해야 한다.