기술 요약: RevengeBench

문제 정의

본 논문은 과학적 역문제(inverse problem)의 계산적 유사체, 즉 관찰 가능한 행동으로부터 숨겨진 메커니즘을 추론하는 문제를 다룹니다. 구체적으로, 학습자가 불투명한 타겟 에이전트의 행동 궤적만을 가지고 실행 가능한 결정 프로그램(정책)을 재구성할 수 있는지를 묻습니다. 고정된 데모 코퍼스나 직접적인 쿼리 인터페이스에 접근할 수 있다고 가정하는 표준적인 역강화학습(IRL) 또는 정책 모방(policy imitation)과 달리, 이 설정은 학습자를 중간적인 인식 체계(epistemic regime)로 제한합니다. 학습자는 타겟의 상태를 직접 쿼리할 수 없으며, 대신 샘플링된 상대들과 대결하는 타겟의 플레이를 수동적으로 관찰하거나, 선택적으로 특정하고 정보가 풍부한 행동을 유도하기 위해 설계된 맞춤형 상대 정책인 "프로브(probe)"를 설계함으로써 타겟의 로직을 추론해야 합니다. 목표는 보유하고 있지 않은 궤적에서도 타겟의 행동을 충실히 재현하는 단일 실행 가능 정책을 출력하는 것입니다.

방법론

벤치마크 구축 (REVENGEBENCH)

저자들은 CodeClash 토너먼트를 위해 LLM으로 생성된 75개의 숨겨진 타겟 정책으로 구성된 벤치마크인 REVENGEBENCH를 소개합니다. 이 정책들은 다섯 가지 서로 다른 게임 환경에 걸쳐 있습니다:

1. BattleSnake (이산적, 그리드 기반, 순차적)
2. Halite (연속적 제어, 다중 유닛)
3. Poker (부분 관측 가능성, 확률적)
4. RoboCode (Java 기반, 연속적)
5. RobotRumble (JavaScript, 다중 유닛)

정책의 복잡도는 다양하며(최대 약 500행), Python, C, Java, JavaScript로 작성되었습니다. 각 환경에 대해 15개의 고-Elo(high-Elo) 정책이 "타겟"으로 지정되며, 나머지 정책들은 상대 풀(opponent pool)을 형성합니다.

평가 프로토콜

평가는 $R=5$회의 정제 라운드에 걸친 폐쇄 루프 추론 과정을 따릅니다:

1. 관찰(Observation): 학습자는 샘플링된 상대들을 상대로 타겟 정책이 플레이하는 궤적을 관찰합니다.
2. 가설 생성(Hypothesis Generation): 학습자는 단순한 베이스라인에서 시작하여 실행 가능한 정책(가설)을 제출합니다.
3. 능동적 프로빙(Active Probing, 선택 사항): "능동(Active)" 체계에서, 학습자는 타겟을 특정 상태나 행동으로 몰아넣어 가설의 불확실성을 줄이기 위해 최대 $B=5$개의 프로브 상대 정책을 라운드당 설계할 수 있습니다.
4. 정제(Refinement): 학습자는 자신의 가설과 타겟의 실제 행동 사이의 불일치를 바탕으로 코드를 반복적으로 수정합니다.

지표

회복 품질은 학습자의 행동과 타겟의 행동 사이의 유사성을 정량화하는 상태별 행동 거리($d_g$)를 사용하여 측정됩니다. 이 지표는 이진(binary) 방식이 아닌 등급 방식(예: 90 칩을 거는 것은 폴드하는 것보다 100 칩에 더 가깝다고 간주함)을 사용합니다. 주요 점수는 초기 행동 거리(무작위 정책으로부터의 거리) 대비 최종 회복된 정책이 좁힌 비율인 거리 감소량($\Delta$)입니다.

실험 설정

본 연구는 mini-SWE-agent 스캐폴드(모델이 파일 작업 및 스크립트 실행을 통해 환경과 상호작용하도록 강제하는 최소한의 bash 기반 인터페이스)를 사용하여 12개의 프런티어 LLM(GPT-5.5, GPT-5, DeepSeek v4 Pro, Gemma 4, Qwen3.6 포함)을 평가합니다. 연구는 수동 관찰과 능동적 프로빙을 비교하며, 회복된 정책의 다운스트림 유틸리티를 플레이어 대 플레이어(PvP) 토너먼트에서 평가합니다.

핵심 기여

1. REVENGEBENCH 벤치마크: 행동 궤적으로부터 프로그래밍된 전략의 역공학을 테스트하기 위해 특별히 설계된, 다섯 가지 다양한 게임 환경에 걸친 75개의 실행 가능한 정책 벤치마크를 제안합니다.
2. 제한된 개입 회복 프로토콜: 개입이 직접적인 상태 쿼리가 아닌 상대 정책(프로브)을 설계하는 것으로 제한되는 역문제를 공식화하여, 현실적인 과학적 추론 시나리오를 모델링합니다.
3. 포괄적 경험적 평가: 12개의 프런티어 LLM을 평가하여 다음을 입증했습니다:
   • 회복 품질은 모델마다 크게 다릅니다 (초기 거리의 34%에서 72% 폐쇄).
   • 능동적 프로빙은 효과적인 실험을 설계할 수 있는 능력을 갖춘 강력한 모델에서 주로 이점을 제공합니다.
   • 회복된 코드는 실행 가능한 신호를 담고 있어, 처음부터 대응 전략을 세우는 데 어려움을 겪는 약한 모델들에게 특히 유의미한 경쟁 우위를 제공합니다.

결과

전략 회복 성능

• 변동성: 회복 성능은 모델 간에 상당한 차이를 보입니다. 가장 우수한 모델(GPT-5.5)은 초기 행동 거리의 약 72%를 좁히는 반면, 가장 약한 모델(GPT-oss-120b)은 약 34%만을 좁힙니다.
• 환경별 차이: 성능은 게임에 따라 균일하지 않습니다. Poker는 가장 쉬운 환경이며(대부분의 모델이 60% 이상의 회복률 달성), RobotRumble은 가장 넓은 성능 편차(5~72%)를 보입니다.
• 비용-품질 트레이드오프: API 비용과 회복 품질 사이에는 강한 상관관계가 없습니다. 일부 저비용 모델(예: Gemma-4 31B)은 최상위 모델의 극히 일부 비용만으로도 경쟁력 있는 회복률(~51%)을 달的是합니다.

관찰 vs 개입

• 능동적 프로빙: 능동적 프로빙은 20개의 모델-게임 쌍 중 16개에서 회복 성능을 향상시켰으나, 그 이점은 강력한 모델(예: DeepSeek v4 Pro는 평균 +0.052 상승)에 집중되었습니다. 약한 모델들은 거의 제로에 가까운 이득을 보였는데, 이는 이들이 유익한 프로브를 설계할 능력이 부족함을 시사합니다.
• 베이스라인: 가공되지 않은 행동 궤적이 가장 효과적인 입력 채널입니다. 궤적을 자연어 요약(Description-only)으로 대체하면 일반적으로 성능이 저하되며, 베이지안 프로그램 추론(BPI)은 대부분의 모델에서 반복적 정제보다 성능이 낮았습니다.

다운스트림 유틸리티

PvP 토너먼트에서 회복된 코드를 장착한 에이전트는 "맹목적(blind)" 에이전트(게임 규칙만 아는 에이전트)보다는 일관되게 우수한 성적을 내지만, "오라클(oracle)" 에이전트(실제 소스 코드를 가진 에이전트)보다는 낮은 성적을 냅니다. 결정적으로, 약한 챌린저 모델들이 회복된 지능으로부터 가장 큰 상대적 이득을 얻는데, 이는 불완전한 재구성이라 할지라도 효과적인 대응 전략에 필요한 구조적 정보를 포착하고 있음을 시사합니다.

견고성 및 신뢰성

• 아레나 신뢰성: Poker와 BattleSnake는 실행 및 평가 과정에서 안정적인 순위를 나타냅니다(높은 클래스 내 일관성). Halite, RoboCode, RobotRumbe는 높은 분산을 보여 신뢰할 수 있는 비교를 위해 다중 실행 집계가 필요합니다.
• 실패 모드: 흔한 실패 패턴으로는 반복적인 디버깅 루프로 인한 스텝 예산 소진, 평가 시 크래시를 유발하는 잘못된 코드 제출, 그리고 이전 라운드보다 정책을 악화시키는 "퇴보(regression)" 현상이 있습니다.

의의 및 주장

본 논문은 프로그래밍된 정책의 행동적 회복을 코드 공간에서의 다룰 수 있는 역문제로 규정합니다. 본 연구의 의의는 세 가지 측면에 있습니다:

1. 상대 모델링: LLM 에이전트가 관찰을 통해 숨겨진 결정 절차를 추론할 수 있음을 보여주며, 이는 불투명한 에이전트의 행동을 예측하는 것이 중요한 멀티 에이전트 워크플로우에서 직접적인 가치를 가집니다.
2. 정책 해석 가능성: 본 벤치마크는 행동 관찰이 메커니즘 회복에 충분한 시점과 능동적 개입이 필요한 시점을 이해하기 위한 테스트베드를 제공합니다.
3. 과학적 유사체: 이 작업을 (섭동된 관찰로부터 잠재적 메커니즘을 추론하는) 과학적 발견의 계산적 유사체로 프레이밍함으로써, 본 연구는 에이전트 벤치마크와 데이터로부터 잠재적 구조를 추론하는 더 넓은 질문 사이의 간극을 메웁니다.

저자들은 정확한 소스 코드 회복이 항상 다운스트림 유틸리티를 위해 필수적인 것은 아니지만, 행동으로부터 실행 가능한 정책을 재구성하는 능력은 해석 가능하고 전략적인 AI 에이전트를 향한 중요한 진전이라고 결론짓습니다. 또한, 타겟이 적응하거나 전략을 은닉하지 않는다는 점과 행동적 동등성이 구조적 동일성을 보장하지 않는다는 점 등의 한계를 언급합니다.