EPC: A Standardized Protocol for Measuring Evaluator Preference Dynamics in LLM Agent Systems

Riepilogo Tecnico: EPC – Un Protocollo Standardizzato per la Misurazione della Dinamica di Preferenza degli Valutatori nei Sistemi di Agenti LLM

Problema
Nei sistemi di agenti LLM a ciclo chiuso (closed-loop), gli agenti adattano le proprie distribuzioni strategiche basandosi sul feedback dei valutatori (spesso altri LLM). Questo processo porta all' "accoppiamento della preferenza del valutatore" (evaluator preference coupling), in cui i bias intrinseci del valutatore si propagano e distorcono la distribuzione strategica dell'agente. Sebbene studi precedenti abbiano documentato questo fenomeno in vari modelli, il campo manca di un protocollo standardizzato. La ricerca attuale soffre di:

1. Non-riproducibilità: Gli studi utilizzano set di task, definizioni di strategia e implementazioni di metriche divergenti, rendendo impossibile il confronto tra studi diversi.
2. Decadimento della Misurazione: I valutatori proprietari si aggiornano silenziosamente, causando l'invalidazione delle misurazioni di accoppiamento precedentemente riportate entro poche settimane.
3. Mancanza di Versionamento: Non esiste un meccanismo per tracciare a quali specifiche versioni di modelli o endpoint API corrisponde una misurazione, portando all'accumulo di baseline obsolete nella letteratura.

Metodologia: Il Protocollo EPC
Il documento introduce l'EPC (Evaluator Preference Coupling), una specifica dettagliata del protocollo in stile RFC, progettata per standardizzare la misurazione di queste dinamiche. La metodologia si basa su un paradigma di isolamento a quattro fasi:

• Fase 1 (Testo Puro): L'agente subisce il Test-Time Reinforcement Learning (TTRL) su task puramente testuali per stabilire una distribuzione di base dei pesi.
• Fase 2 (Visuale Puro): L'agente subisce il TTRL su task adiacenti al visivo per stabilire una baseline separata.
• Fase 3 (Accoppiamento T→V): L'agente parte dai pesi della Fase 1 e si addestra su task visivi.
• Fase 4 (Accoppiamento V→T): L'agente parte dai pesi della Fase 2 e si addestra su task testuali.

Componenti Tecnici Chiave:

• Algoritmo TTRL: L'agente mantiene un vettore di pesi L1-normalizzato su 11 strategie (8 testuali, 3 visive). Gli aggiornamenti avvengono tramite confronti a coppie contro una baseline fissa step_by_step. Il protocollo fissa i tassi di apprendimento ($\alpha_{win}=0.08, \alpha_{lose}=0.04$) e un pavimento del peso (weight floor) di 0.001 per garantire la stabilità.
• Metriche:
  • $\gamma$ (Coefficiente di Accoppiamento): La metrica primaria, definita come la distanza euclidea L2-normalizzata tra il vettore di peso post-accoppiamento e il vettore di riferimento del dominio puro.
  • JSD (Divergenza di Jensen-Shannon): Richiesta per la segnalazione se i vettori di peso sono archiviati, per tracciare la concentrazione della distribuzione.
  • ECE & Brier Score: Metriche opzionali per calibrazione e analisi dell'errore.
• Configurazione Rigida: Il protocollo impone prompt specifici per il valutatore, impostazioni di decoding (temperatura=0.0) e documentazione dei task (verbatim) per minimizzare la varianza.
• Conformità: Una suite di test con valutatori simulati (mock) assicura che implementazioni indipendenti producano risultati identici su input fissi.

Contributi Chiave
Il documento dichiara esplicitamente di non introdurre nuove scoperte empiriche, metriche o rivendicazioni scientifiche riguardanti le capacità degli agenti. Invece, i suoi contributi sono infrastrutturali e disciplinari:

1. Protocollo Standardizzato: Una specifica completa del protocollo (EPC-v1.0) in stile RFC che copre configurazione, algoritmo, design dei task e schemi di output.
2. Reference Snapshot v1.0: Una baseline versionata contenente misurazioni di accoppiamento ($\gamma$, JSD, tassi di zero-coupling) per otto condizioni di valutatore (inclusi GPT-4o, Qwen, DeepSeek) derivate da cinque studi indipendenti condotti tra maggio e giugno 2026.
3. Convenzione di Versionamento: Uno schema a tre componenti ($vX.Y-Z$) che codifica la versione del protocollo, la versione dello snapshot e la generazione del valutatore per tracciare esplicitamente la validità e il decadimento della misurazione.
4. Infrastruttura Aperta: Rilascio dell'implementazione del protocollo, dei dati di riferimento (JSON) e di un template di sottomissione per snapshot contribuiti dalla comunità.

Risultati e Osservazioni
Il Reference Snapshot v1.0 fornisce baseline empiriche che evidenziano la volatilità dell'accoppiamento del valutatore:

• Variabilità: I coefficienti di accoppiamento ($\gamma$) variano significativamente tra i valutatori. Ad esempio, GPT-4o (2024-08-06) ha mostrato una media $\gamma$ di 1.176, mentre DeepSeek-chat (self-eval) ha mostrato 0.033.
• Decadimento e Deriva: Lo snapshot dimostra che le misurazioni possono invertirsi o cambiare drasticamente in brevi periodi di tempo. Le misurazioni di GPT-4o effettuate a maggio rispetto a giugno hanno mostrato uno spostamento da un alto accoppiamento a un quasi-zero accoppiamento (0.187) con un tasso di zero-coupling dell'83%, attribuito agli aggiornamenti delle versioni del modello.
• Problemi di Calibrazione: Le baseline di auto-valutazione hanno rivelato che i valutatori possono essere sostanzialmente mal calibrati (ECE $\approx$ 0.31) anche quando mostrano un basso accoppiamento, suggerendo che un basso accoppiamento possa talvolta riflettere l'incapacità del valutatore piuttosto che la stabilità dell'agente.

Significato e Rivendicazioni
Gli autori posizionano questo lavoro come un documento di specifica di protocollo, analogamente a un RFC nel networking o a uno standard di misurazione nelle scienze fisiche.

• Disciplina sopra la Scoperta: Il documento sostiene di introdurre una "disciplina" che permetta alla comunità di mantenere collettivamente l'attualità man mano che i modelli valutatori evolvono, trasformando osservazioni isolate in un sistema di misurazione riproducibile, confrontabile e verificabile.
• Affrontare il Decadimento: Rendendo esplicito il decadimento della misurazione attraverso il versionamento e le date di scadenza, il protocollo mira a prevenire l'affidamento su baseline obsolete, un problema evidenziato da recenti audit che mostrano punteggi di longevità bassi per i benchmark AI.
• Complementarità: EPC è progettato per completare gli esistenti benchmark delle capacità degli agenti (che misurano quanto bene gli agenti performano) misurando l'influenza del valutatore (come i bias si propagano attraverso i cicli di feedback).

Il documento si conclude rilasciando il protocollo e i dati come infrastruttura aperta, invitando la comunità a contribuire con snapshot aggiornati man mano che i modelli valutatori evolvono, garantendo così la longevità e la rilevanza del sistema di misurazione.