Technische Samenvatting: RevengeBench

Probleemdefinitie

Het artikel behandelt een computationele analogie van het wetenschappelijke inverse probleem: het afleiden van verborgen mechanismen uit observeerbaar gedrag. Specifiek wordt de vraag gesteld of een leerling een uitvoerbaar beslissingsprogramma (een beleid/policy) kan reconstrueren op basis van enkel de gedragssporen van een opaak doelwit-agent in een spelomgeving. In tegenstelling tot standaard inverse reinforcement learning of policy imitatie, die vaak uitgaan van toegang tot een vaste corpus aan demonstraties of directe query-interfaces, beperkt deze setting de leerling tot een intermediair epistemisch regime. De leerling kan niet willekeurige toestanden van het doelwit direct opvragen; in plaats daarvan moet de leerling de logica van het doelwit afleiden door passieve observatie van het doelwit dat speelt tegen gesamplede tegenstanders, en optioneel door het ontwerpen van actieve "probes"—specifieële tegenstander-policies bedoeld om specifiek, informatief gedrag uit het doelwit te lokken. Het doel is om een enkel, uitvoerbaar beleid te produceren dat de acties van het doelwit in uitgestelde trajecten getrouw reproduceert.

Methodologie

Benchmark Constructie (REVENGEBENCH)

De auteurs introduceren REVENGEBENCH, een benchmark bestaande uit 75 verborgen doelwit-policies gegenereerd door Large Language Models (LLMs) voor de CodeClash toernooi. Deze policies beslaan vijf verschillende spelomgevingen:

1. BattleSnake (Discreet, rastergebaseerd, sequentieel)
2. Halite (Continue controle, multi-unit)
3. Poker (Partiële observabiliteit, stochastisch)
4. RoboCode (Java-gebaseerd, continu)
5. RobotRumble (JavaScript, multi-unit)

De policies variëren in complexiteit (tot ~500 regels code) en zijn geschreven in Python, C, Java en JavaScript. Voor elke omgeving worden 15 high-Elo policies aangewezen als "targets", terwijl de overige policies een tegenstanderspool vormen.

Evaluatieprotocol

De evaluatie volgt een closed-loop inferentieproces over $R=5$ verfijningsrondes:

1. Observatie: De leerling observeert trajecten van de doelwit-policy die speelt tegen gesamplede tegenstanders.
2. Hypothesegeneratie: De leerling dient een uitvoerbare policy in (hypothese), beginnend vanaf een simplistische baseline.
3. Actieve Probing (Optioneel): In het "Actieve" regime kan de leerling tot $B=5$ probe-tegenstanders per ronde ontwerpen om het doelwit in specifieke toestanden of gedragingen te dwingen, met als doel de onzekerheid in de hypothese te verminderen.
4. Verfijning: De leerling bewerkt iteratief zijn code op basis van de geobserveerde discrepanties tussen de hypothese en de werkelijke acties van het doelwit.

Metrieken

De kwaliteit van de reconstructie wordt gemeten met een per-state actieafstand ($d_g$), die de dissimilariteit kwantificeert tussen de actie van de leerling en de actie van het doelwit. Deze metriek is gegradeerd (bijv. inzetten van 90 chips ligt dichter bij 100 dan folden) in plaats van binair. De primaire score is de afstandreductie ($\Delta$), gedefinieerd als het fractie van de initiële gedragsafstand (vanuit een willekeurige policy) die wordt gesloten door de uiteindelijke gereconstrueerde policy.

Experimentele Opstelling

De studie evalueert 12 frontier LLM's (waaronder GPT-5.5, GPT-5, DeepSeek v4 Pro, Gemma 4, en Qwen3.6) met behulp van de mini-SWE-agent scaffold, een minimale bash-gebaseerde interface die modellen dwingt te interageren met de omgeving via bestandsoperaties en scriptexecutie. De studie vergelijkt passieve observatie met actieve probing en evalueert de downstream bruikbaarheid van de gereconstrueerde policies in Player-vs-Player (PvP) toernooien.

Belangrijkste Bijdragen

1. REVENGEBENCH Benchmark: Een nieuwe benchmark van 75 uitvoerbare policies over vijf diverse spelomgevingen, specifiek ontworpen om de reverse engineering van programmatische strategieën uit gedragssporen te testen.
2. Constrained-Intervention Recovery Protocol: Een formalisering van het inverse probleem waarbij interventie beperkt is tot het ontwerpen van tegenstander-policies (probes) in plaats van directe state queries, wat een realistisch wetenschappelijk inferentie-scenario modelleert.
3. Uitgebreide Empirische Evaluatie: Een evaluatie van 12 frontier LLM's die aantoont dat:
   • De kwaliteit van de reconstructie aanzienlijk varieert (34% tot 72% van de initiële afstand gesloten).
   • Actieve probing voordelen biedt, primair voor sterkere modellen die in staat zijn effectieve experimenten te ontwerpen.
   • Gereconstrueerde code een actiegericht signaal bevat, wat een meetbaar competitief voordeel biedt in downstream PvP-toernooien, met name voor zwakkere modellen die moeite hebben om vanuit het niets tegenstrategieën te bedenken.

Resultaten

Strategie Reconstructie Prestaties

• Variabiliteit: De prestaties van de reconstructie variëren substantieel tussen modellen. Het beste model (GPT-5.5) sluit ongeveer 72% van de initiële gedragsafstand, terwijl het zwakste (GPT-oss-120b) slechts ~34% sluit.
• Verschillen in Omgeving: Prestaties zijn niet uniform over de spellen. Poker is de gemakkelijkste omgeving (de meeste modellen overschrijden 60% reconstructie), terwijl RobotRumble de breedste spreiding vertoont (5–72%).
• Kosten-Kwaliteit Afweging: Er is geen sterke correlatie tussen API-kosten en de kwaliteit van de reconstructie; sommige goedkopere modellen (bijv. Gemma-4 31B) behalen concurrerende reconstructierates (~51%) tegen een fractie van de kosten van top-tier modellen.

Observatie versus Interventie

• Actieve Probing: Actieve probing verbetert de reconstructie in 16 van de 20 model-spel paren, maar de winst is geconcentreerd bij sterkere modellen (bijv. DeepSeek v4 Pro ziet een gemiddelde stijging van +0.052). Zwakkere modellen laten vaak bijna nul winst zien, wat suggereert dat zij niet over de capaciteit beschikken om informatieve probes te ontwerpen.
• Baselines: Ruwe gedragssporen zijn de meest effectieve inputkanaal. Het vervangen van sporen door natuurlijke taal samenvattingen (Description-only) verslechtert de prestaties over het algemeen, en Bayesian Program Inference (BPI) presteert minder goed dan iteratieve verfijning voor de meeste modellen.

Downstream Bruikbaarheid

In PvP-toernooien presteren agenten uitgerust met gereconstrueerde code consistent beter dan "blinde" agenten (die enkel de spelregels kennen) en slechter dan "oracle" agenten (die de ware broncode bezitten). Cruciaal is dat zwakkere uitdagende modellen de grootste relatieve winsten boeken uit gereconstrueerde intelligentie, wat suggereert dat zelfs imperfecte reconstructies de noodzakelijke structurele informatie bevatten voor effectieve tegenstrategieën.

Robuustheid en Betrouwbaarheid

• Arena Betrouwbaarheid: Poker en BattleSnake leveren stabiele ranglijsten op over runs en evaluatoren heen (hoge intra-class consistentie). Halite, RoboCode en RobotRumble vertonen een hogere variantie, wat aggregatie over meerdere runs vereist voor een betrouwbare vergelijking.
• Foutmodi: Veelvoorkomende foutpatronen zijn het uitputten van de step-budget door repetitieve debugging-loops, het indienen van ongeldige code die de evaluatie doet crashen, en "regressie" waarbij latere bewerkingen de policy verslechteren ten opzichte van eerdere rondes.

Betekenis en Claims

Het artikel positioneert de gedragsmatige reconstructie van programmatische policies als een hanteerbaar invers probleem in de coderuimte. De significantie ligt in drie gebieden:

1. Tegenstander Modellering: Het toont aan dat LLM-agents verborgen beslissingsprocedures kunnen afleiden uit observatie, een capaciteit met directe waarde voor multi-agent workflows waarbij het anticiperen op opaak gedrag van agenten cruciaal is.
2. Policy Interpreteerbaarheid: De benchmark biedt een testbed voor het begrijpen wanneer observationeel gedrag voldoende is voor mechanisme-reconstructie en waar actieve interventie vereist is.
3. Wetenschappelijke Analogie: Door de taak te kaderen als een computationele analogie van wetenschappelijke ontdekking (het afleiden van latente mechanismen uit geperturbeerde observaties), overbrugt dit werk de kloof tussen agent-benchmarks en de bredere vraag naar het afleiden van latente structuren uit data.

De auteurs concluderen dat hoewel exacte bronreconstructie niet altijd noodzakelijk is voor downstream bruikbaarheid, het vermogen om uitvoerbare policies te reconstrueren uit gedrag een belangrijke stap is naar interpreteerbare en strategische AI-agents. Zij merken beperkingen op, waaronder de synthetische aard van de targets (die zich niet aanpassen of strategieën verbergen) en het feit dat gedragsmatige equivalentie geen structurele identiteit garandeert.