Sintesi Tecnica: RevengeBench

Definizione del Problema

Il documento affronta un analogo computazionale al problema inverso scientifico: inferire meccanismi nascosti a partire dal comportamento osservabile. Nello specifico, si chiede se un apprendista possa ricostruire un programma decisionale eseguibile (una policy) dati solo le tracce comportamentali di un agente target opaco. A differenza del classico apprendimento per rinforzo inverso o dell'imitazione della policy, che spesso presuppongono l'accesso a un corpus fisso di dimostrazioni o interfacce di query diretta, questo setting restringe il discente a un regime epistemico intermedio. Il discente non può interrogare direttamente stati arbitrari del target; deve invece inferire la logica del target attraverso l'osservazione passiva del target che gioca contro avversari campionati e, opzionalmente, progettando "sonde" attive — policy di avversari personalizzate destinate a elicitare comportamenti specifici e informativi dal target. L'obiettivo è produrre una singola policy eseguibile che riproduca fedelmente le azioni del target in traiettorie non viste (held-out).

Metodologia

Costruzione del Benchmark (REVENGEBENCH)

Gli autori introducono REVENGEBENCH, un benchmark composto da 75 policy target nascoste generate da Large Language Models (LLM) per il torneo CodeClash. Queste policy spaziano in cinque distinti ambienti di gioco:

1. BattleSnake (Discreto, basato su griglia, sequenziale)
2. Halite (Controllo continuo, multi-unità)
3. Poker (Osservabilità parziale, stocastico)
4. RoboCode (Basato su Java, continuo)
5. RobotRumble (Basato su JavaScript, multi-unità)

Le policy variano in complessità (fino a circa 500 righe di codice) e sono scritte in Python, C, Java e JavaScript. Per ogni ambiente, 15 policy ad alto Elo sono designate come "target", mentre le restanti formano un pool di avversari.

Protocollo di Valutazione

La valutazione segue un processo di inferenza a ciclo chiuso su $R=5$ round di raffinamento:

1. Osservazione: Il discente osserva le traiettorie di una policy target che gioca contro avversari campionati.
2. Generazione dell'Ipotesi: Il discente sottopone una policy eseguibile (ipotesi) partendo da una baseline semplificata.
3. Probing Attivo (Opzionale): Nel regime "Attivo", il discente può progettare fino a $B=5$ avversari sonda per round per forzare il target in stati o comportamenti specifici, con l'obiettivo di ridurre l'incertezza nell'ipotesi.
4. Raffinamento: Il discente modifica iterativamente il proprio codice basandosi sulle discrepanze osservate tra la propria ipotesi e le azioni reali del target.

Metriche

La qualità del recupero è misurata tramite una distanza dell'azione per stato ($d_g$), che quantifica la dissimilarità tra l'azione del discente e l'azione del target. Questa metrica è graduata (ad esempio, scommettere 90 chip è più vicino a 100 che fare fold) piuttosto che binaria. Il punteggio primario è la riduzione della distanza ($\Delta$), definita come la frazione della distanza comportamentale iniziale (rispetto a una policy casuale) che viene colmata dalla policy recuperata finale.

Setup Sperimentale

Lo studio valuta 12 LLM all'avanguardia (inclusi GPT-5.5, GPT-5, DeepSeek v4 Pro, Gemma 4 e Qwen3.6) utilizzando lo scaffold mini-SWE-agent, un'interfaccia minimale basata su bash che costringe i modelli a interagire con l'ambiente tramite operazioni su file ed esecuzione di script. Lo studio confronta l'osservazione passiva con il probing attivo e valuta l'utilità a valle delle policy recuperate nei tornei Player-vs-Player (PvP).

Contributi Chiave

1. Benchmark REVENGEBENCH: Un nuovo benchmark di 75 policy eseguibili in cinque diversi ambienti di gioco, progettato specificamente per testare l'ingegneria inversa di strategie programmatiche da tracce comportamentali.
2. Protocollo di Recupero a Intervento Vincolato: Una formalizzazione del problema inverso in cui l'intervento è limitato alla progettazione di policy avversarie (sonde) anziché a query dirette dello stato, modellando uno scenario realistico di inferenza scientifica.
3. Valutazione Empirica Comprensiva: Una valutazione di 12 LLM all'avanguardia che dimostra che:
   • La qualità del recupero varia significativamente (dal 34% al 72% della distanza iniziale colmata).
   • Il probing attivo produce benefici principalmente per i modelli più forti capaci di progettare esperimenti efficaci.
   • Il codice recuperato porta un segnale azionabile, fornendo un vantaggio competitivo misurabile nei tornei PvP successivi, in particolare per i modelli più deboli che faticano a ideare contro-strategie da zero.

Risultati

Performance di Recupero della Strategia

• Variabilità: Le performance di recupero variano sostanzialmente tra i modelli. Il miglior modello (GPT-5.5) chiude circa il 72% della distanza comportamentale iniziale, mentre il più debole (GPT-oss-120b) chiude solo il ~34%.
• Differenze tra Ambienti: La performance non è uniforme tra i giochi. Il Poker è l'ambiente più facile (la maggior parte dei modelli supera il 60% di recupero), mentre RobotRumble mostra la più ampia dispersione delle performance (5–72%).
• Trade-off Costo-Qualità: Non esiste una forte correlazione tra il costo delle API e la qualità del recupero; alcuni modelli a basso costo (ad esempio, Gemma-4 31B) raggiungono tassi di recupero competitivi (~51%) a una frazione del costo dei modelli di fascia alta.

Osservazione vs. Intervento

• Probing Attivo: Il probing attivo migliora il recupero in 16 coppie modello-gioco su 20, ma i guadagni sono concentrati nei modelli più forti (ad esempio, DeepSeek v4 Pro vede un incremento medio di +0.052). I modelli più deboli mostrano spesso guadagni quasi nulli, suggerendo che manchino della capacità di progettare sonde informative.
• Baseline: Le tracce comportamentali grezze sono il canale di input più efficace. Sostituire le tracce con riassunti in linguaggio naturale (Description-only) generalmente degrada le performance, e la Bayesian Program Inference (BPI) è meno performante del raffinamento iterativo per la maggior parte dei modelli.

Utilità a Valle

Nei tornei PvP, gli agenti dotati di codice recuperato superano costantemente gli agenti "ciechi" (quelli con sole regole di gioco) e sono superati dagli agenti "oracle" (quelli con il vero codice sorgente). Fondamentalmente, i modelli sfidanti più deboli derivano i maggiori guadagni relativi dall'intelligenza recuperata, suggerendo che anche le ricostruzioni imperfette catturano informazioni strutturali necessarie per contro-strategie efficaci.

Robustezza e Affidabilità

• Affidabilità dell'Arena: Poker e BattleSnake producono classifiche stabili attraverso run e valutatori (alta coerenza intra-classe). Halite, RoboCode e RobotRumble mostrano una maggiore varianza, richiedendo l'aggregazione di più run per un confronto affidabile.
• Modalità di Fallimento: I pattern di fallimento comuni includono l'esaurimento del budget di step a causa di loop di debugging ripetitivi, la sottomissione di codice non valido che causa crash nella valutazione e la "regressione", dove modifiche successive peggiorano la policy rispetto ai round precedenti.

Significato e Rivendicazioni

Il documento posiziona il recupero comportamentale di policy programmatiche come un problema inverso trattabile nello spazio del codice. La sua importanza risiede in tre aree:

1. Modellazione dell'Avversario: Dimostra che gli agenti LLM possono inferire procedure decisionali nascoste dall'osservazione, una capacità con valore diretto per i flussi di lavoro multi-agente dove anticipare il comportamento di un agente opaco è critico.
2. Interpretabilità della Policy: Il benchmark fornisce un banco di prova per comprendere quando l'osservazione comportamentale è sufficiente per il recupero del meccanismo e dove è richiesto l'intervento attivo.
3. Analogo Scientifico: Inquadrando il compito come un analogo computazionale della scoperta scientifica (inferire meccanismi latenti da osservazioni perturbate), il lavoro colma il divario tra i benchmark degli agenti e la questione più ampia di inferire strutture latenti dai dati.

Gli autori concludono che, sebbene il recupero esatto della sorgente non sia sempre necessario per l'utilità a valle, la capacità di ricostruire policy eseguibili dal comportamento rappresenta un passo significativo verso agenti IA interpretabili e strategici. Notano limitazioni, tra cui la natura sintetica dei target (che non si adattano o non occultano le strategie) e il fatto che l'equivalenza comportamentale non garantisce l'identità strutturale.