Riepilogo Tecnico: La Testimonianza Parziale dei Log: Valutazione della Generazione di Modelli Linguistici in Condizioni di Scelta del Modello Confusa

Enunciato del Problema

La valutazione offline dei modelli linguistici (LLM) si basa sempre più su log di utilizzo, dati di preferenza e annotazioni di giudici raccolti in implementazioni reali. Tuttavia, quando la scelta del modello è guidata dall'utente, questi log soffrono di confondimento: gli stessi fattori non osservati lato utente ($U$) che influenzano quale modello un utente seleziona influenzano anche come viene giudito l'output di quel modello. Di conseguenza, i confronti grezzi dei punteggi registrati mescolano sottopopolazioni auto-selezionate invece di stimare una quantità causale comune di interesse.

Mentre gli esperimenti randomizzati (EXP) possono rompere questo bias sovrapponendosi alla scelta del modello, sono spesso scarsi, costosi e disruptivi nella pratica. La letteratura esistente sulla combinazione di grandi campioni osservazionali distorti con piccoli campioni randomizzati assume tipicamente che l'esito a livello di unità sia osservato in entrambi. Nella valutazione degli LLM, l'"esito" (il testo generato) deve prima essere rigenerato per i modelli candidati prima di poter essere valutato, aggiungendo un livello di complessità in cui l'esito target non è direttamente osservato nemmeno nel campione randomizzato.

Metodologia: Un Design a Tre Fonti

Il documento propone un design a tre fonti per affrontare questa sfida, separando il problema in identificazione (recupero dei valori causali) e stima (riduzione dell'errore).

Fonti di Dati

1. Log Osservazionale (OBS): Un ampio dataset di scelte di modello auto-selezionate, contesti, output ed esiti. Fornisce scala e supervisione ausiliaria ma è confuso.
2. Esperimento Randomizzato (EXP): Un piccolo dataset in cui la scelta del modello è randomizzata, fornendo etichette di esito non confuse per gli output realizzati.
3. Simulatore Offline (SIM): Un meccanismo che riproduce i modelli candidati su contesti memorizzati nella cache per generare output controfattuali (mediatori) per qualsiasi modello, indipendentemente dalla scelta originale.

Struttura Causale e Assunzioni

Il quadro modella il sistema utilizzando un grafo causale con contesto osservato ($X$), stato utente latente ($U$), modello scelto ($A$), output generato ($M$) ed esito ($Y$). Le assunzioni chiave includono:

• A1 (Randomizzazione): In EXP, $A \perp U | X$.
• A2 (Validità di SIM): Il simulatore corrisponde accuratamente alla distribuzione interventista del mediatore $P(M | X, do(A=a))$.
• A3 (Coerenza dell'Esito): La legge condizionale dell'esito $P(Y | X, M, U)$ è invariante tra OBS, EXP e il mondo interventista.
• A4 (Nessun Confondimento del Mediatore Latente): Condizionato a $(X, A)$, $U \perp M$. Questo restringe il quadro alla generazione in un singolo turno, senza stato.
• A5 (Allineamento del Contesto): La distribuzione del contesto target corrisponde alla distribuzione del contesto EXP.

Teorema di Identificazione

Il risultato teorico centrale del documento (Teorema 1) stabilisce che SIM ed EXP sono congiuntamente sufficienti per identificare i valori causali del modello, rendendo OBS non necessario per l'identificazione.

• L'esperimento randomizzato identifica la regola di punteggio non distorta $r^*(x, m) = E[Y | X=x, M=m, EXP]$.
• Il simulatore fornisce la distribuzione interventista del mediatore $p_{sim}(m | x, a)$.
• Il valore causale viene recuperato integrando la regola di punteggio sulla distribuzione del mediatore simulato:
  $$q(x, a) = E_{M \sim p_{sim}(\cdot|x,a)}[r^*(x, M)]$$
  $$\mu(a) = E_{X}[q(X, a)]$$
  Il log osservazionale (OBS) entra solo dopo l'identificazione per migliorare l'efficienza statistica (ridurre la varianza), non per validare il confronto causale.

Famiglie di Stimatori

Una volta identificato l'obiettivo, il documento valuta sei famiglie di stimatori che differiscono per il modo in cui utilizzano OBS per ridurre l'errore di stima:

1. Solo-EXP: Adatta un modello di ricompensa utilizzando solo esiti randomizzati. Non distorto ma ad alta varianza quando EXP è piccolo.
2. Solo-OBS: Adatta un modello di ricompensa sugli esiti registrati. Bassa varianza ma eredita il bias di confondimento.
3. Rappresentazione-EXP: Utilizza le etichette ausiliarie di OBS per apprendere una rappresentazione proxy a dimensionalità ridotta $\psi$, quindi adatta la testa di ricompensa su $\psi$ utilizzando i dati EXP.
4. Grounded: Inizia con un predittore di base addestrato su OBS $f_{OBS}$ e utilizza EXP per apprendere un termine di correzione nello spazio proxy.
5. CVCI (Inferenza Causale Cross-Validata): Unisce direttamente i problemi di regressione OBS ed EXP, selezionando il peso di unione $\lambda$ tramite validazione incrociata causale su EXP.
6. CVCI-Residuo: Residualizza il target attorno alla linea di base OBS ($Y - f_{OBS}$) e unisce l'adattamento del residuo nello spazio proxy.

Risultati Empirici

Gli autori valutano questi stimatori in una validazione semi-sintetica controllata e in due benchmark reali basati su cache (riassunto su CNN/DailyMail e codifica su SWE-bench Verified).

• Nessuna Dominanza Universale: Nessuna singola famiglia di stimatori domina tutti i regimi. Le prestazioni dipendono fortemente dalla quantità di supervisione EXP non distorta e dall'allineamento tra la struttura osservazionale e la ricompensa target.
• Benchmark di Riassunto:
  • CVCI ha ottenuto il miglior rango medio e il minimo rimpianto eccessivo su 48 configurazioni.
  • L'aumento del budget EXP ($n_{EXP}$) ha migliorato significativamente gli stimatori basati su EXP, mentre l'aumento del budget OBS ($n_{OBS}$) ha mostrato rendimenti decrescenti sotto mappe di ricompensa lisce.
  • Quando la mappa di ricompensa è stata "affinata" (non lineare), l'allineamento tra le rappresentazioni proxy e il target si è degradato, causando cali di prestazioni per i metodi basati su rappresentazione.
• Benchmark di Codifica:
  • Le classifiche sono cambiate in base alla definizione della ricompensa. Quando la ricompensa privilegiava la "qualità della patch" (caratteristiche ausiliarie), Representation-EXP ha performato in modo competitivo.
  • Quando la ricompensa privilegiava il "vero successo della correzione" (un esito binario non ben catturato dalle statistiche ausiliarie della patch), le famiglie basate su OBS (OBS-Only, CVCI) hanno superato Representation-EXP.
  • Questo evidenzia che l'utilità dei proxy derivati da OBS dipende dal fatto che mantengano il segnale rilevante per la specifica ricompensa target.

Significato e Affermazioni

Il documento afferma di fornire un quadro rigoroso per la valutazione offline degli LLM che riconosce i limiti dei dati osservazionali senza scartarne la scala.

• Identificazione vs. Stima: Il contributo principale è la separazione teorica dell'identificazione (risolta da SIM+EXP) dalla stima (dove OBS aiuta). Questo chiarisce che OBS non può correggere il bias causale; può solo ridurre la varianza una volta che il bias è rimosso tramite randomizzazione e simulazione.
• Guida Pratica: I risultati empirici suggeriscono che la scelta dello stimatore dovrebbe essere guidata dalla diagnostica di "allineamento-target". Se la struttura dei dati osservazionali (ad esempio, etichette ausiliarie) si allinea bene con la ricompensa target, i metodi ibridi (come CVCI o Grounded) sono efficaci. Se il target si basa su segnali non presenti nei proxy osservazionali (ad esempio, successo reale della correzione rispetto alla qualità della patch), i metodi assistiti da OBS potrebbero non riuscire a superare le linee di base puramente randomizzate.
• Ambito di Applicazione: Gli autori notano modestamente che queste conclusioni si applicano a impostazioni di valutazione in cache in un singolo turno. Il quadro assume una generazione in un singolo turno (Assunzione A4) e non affronta ancora impostazioni interattive multi-turno o incertezze più ampie a livello di popolazione oltre gli obiettivi memorizzati nella cache.

In sintesi, il documento sostiene che mentre i grandi log sono preziosi per la scala, sono insufficienti per la valutazione causale da soli. Un piccolo esperimento randomizzato combinato con un simulatore è il requisito minimo per un'identificazione valida, con i dati osservazionali che fungono da strumento di riduzione della varianza condizionato all'allineamento specifico tra i dati e l'obiettivo di valutazione.