LLM Evaluation as Tensor Completion: Low Rank Structure and Semiparametric Efficiency

Formulazione del Problema

Il paper affronta le sfide statistiche inerenti alla valutazione dei Large Language Models (LLM) tramite giudizi umani a coppie, come avviene nelle piattaforme tipo ARENA. In questi contesti, gli utenti confrontano due risposte di modelli e selezionano quella preferita, generando dati rumorosi, sparsi e altamente non uniformi. Le attuali pratiche di classificazione (leaderboard) spesso riportano stime puntuali con una limitata quantificazione dell'incertezza e non riescono a sfruttare esplicitamente la struttura a basso rango delle prestazioni dei modelli attraverso task, categorie e contesti.

Gli autori formalizzano questo problema come inferenza semiparametrica per un tensore di punteggi latenti a basso rango ($T^\star$) osservato attraverso confronti a coppie.

• Modello: Adottano un framework di tipo Bradley-Terry-Luce (BTL) in cui la probabilità che il modello $a$ batta il modello $b$ nel contesto $t$ è $\sigma(\langle T^\star, X \rangle)$, con $X$ che codifica il contrasto a coppie.
• Struttura: Si assume che $T^\star$ abbia una struttura Tucker a basso rango, riflettendo il fatto che le prestazioni del modello sono guidate da un piccolo numero di fattori latenti (ad esempio, ragionamento, coding, capacità multilingue) piuttosto che da voci indipendenti per ogni coppia modello-task.
• Osservazione: I dati consistono in esiti binari da contrasti a coppie campionati in modo non uniforme, non in dirette voci del tensore.
• Obiettivo: L'obiettivo non è il recupero completo del tensore, ma la stima efficiente di funzionali regolari $\psi(T^\star)$, che possono essere lineari (ad esempio, gap di abilità, punteggi di categoria) o non lineari (ad esempio, probabilità di vittoria).

Metodologia

Il paper sviluppa un framework per la costruzione di stimatori statisticamente efficienti e intervalli di confidenza validi sotto tali vincoli.

1. Teoria dell'Efficienza Semiparametrica
Gli autori derivano i limiti fondamentali della stima caratterizzando la funzione di influenza efficiente (EIF) e il limite di efficienza semiparametrica.

• Spazio Tangente: Definiscono uno spazio tangente del segnale $\mathcal{T}$ che combina i vincoli della varietà a basso rango con i vincoli di identificazione lineare (ad esempio, normalizzazione a somma zero) necessari per l'identificabilità nei modelli a coppie.
• Operatore di Informazione: Definiscono un operatore di informazione di Fisher $G$ indotto dal link logistico e dalla distribuzione di campionamento. Fondamentalmente, dimostrano che sotto matchup eterogenei e campionamento non uniforme, $G$ è anisotropo (dipendente dalla direzione).
• Limite di Efficienza: Il limite di efficienza è dato da $V_{\text{eff}}(\psi) = \langle P_{\mathcal{T}}\nabla\psi, A^{-1}P_{\mathcal{T}}\nabla\psi \rangle$, dove $A = P_{\mathcal{T}} G P_{\mathcal{T}}$ è l'operatore di informazione ristretto e $P_{\mathcal{T}}$ è la proiezione sullo spazio tangente.

2. Il Collo di Bottiglia della Non-Commutatività
Una sfida tecnica centrale identificata è che l'operatore di informazione $G$ generalmente non commuta con il proiettore dello spazio tangente $P_{\mathcal{T}}$.

• In contesti isotropi (ad esempio, rumore gaussiano), $G$ è proporzionale all'identità, rendendo l'inversione semplice.
• Nei confronti a coppie, la variazione dell'informazione di Fisher $I(\eta) = \sigma(\eta)(1-\sigma(\eta))$ crea anisotropia. Di conseguenza, l'operatore inverso ristretto $(P_{\mathcal{T}} G P_{\mathcal{T}})^{-1}$ può esibire un'amplificazione elemento per elemento sfavorevole, creando un collo di bottiglia dipendente dalla dimensione per gli standard argomenti di de-biasing. Questo è quantificato da una costante $C_A$ che può scalare con $\sqrt{\bar{d}}$ (la dimensione della moda principale).

3. Stimatori
Per affrontare queste sfide, gli autori propongono due stimatori principali:

• Stimatore De-biased One-Step: Un approccio semiparametrico standard utilizzando l'EIF. Richiede l'inversione dell'operatore di informazione ristretto stimato. Sebbene efficiente, le sue garanzie teoriche dipendono dall'entità di $C_A$, richiedendo campioni più ampi per garantire la normalità asintotica quando l'informazione è altamente eterogenea.
• Stimatore Score-Whitened: Per superare il collo di bottiglia della non-commutatività, gli autori introducono un metodo di score-whitening (sbiancamento del punteggio). Riscalando la funzione di punteggio con l'informazione di Fisher locale ($\tilde{s}_\eta = s_\eta / I(\eta)$), trasformano l'operatore di informazione effettivo in uno isotropo. Ciò elimina la necessità di inversione dell'operatore, rimuove il collo di bottiglia $C_A$ e fornisce uno stimatore più semplice con un comportamento asintotico stabile sotto condizioni di complessità campionaria più deboli ($n \gg \bar{d} \text{polylog}(\bar{d})$).
• Inverse-Probability Weighting (IPW): Per il campionamento non uniforme, combinano lo score-whitening con l'IPW per ripristinare l'isotropia, permettendo al metodo di gestire dati reali dove i modelli popolari ricevono una quantità sproporzionata di confronti.

Contributi Chiave

1. Formulazione Statistica: Il paper unifica la valutazione degli LLM in un framework di completamento di tensori a basso rango sotto confronti a coppie, gestendo esplicitamente i vincoli di identificazione e il campionamento non uniforme.
2. Caratterizzazione dell'Efficienza: Fornisce i primi limiti di efficienza semiparametrica per i modelli a coppie a basso rango, derivando l'EIF e l'equazione dell'informazione $AH^\star = P_{\mathcal{T}}\nabla\psi$.
3. Identificazione di un Nuovo Collo di Bottiglia: Gli autori identificano e analizzano la non-commutatività tra l'operatore di informazione anisotropo e il proiettore dello spazio tangente come un ostacolo fondamentale nei dati a coppie eterogenei, un fenomeno assente nel completamento di tensori isotropi.
4. Soluzione Score-Whitening: Introducono una tecnica di score-whitening che equalizza l'informazione di Fisher locale, "pre-condizionando" efficacemente il problema per ripristinare l'isotropia e consentire l'inferenza efficiente senza inversione di operatore.
5. Garanzie Teoriche: Il paper stabilisce la normalità asintotica e la stima valida della varianza sia per i funzionali lineari che per quelli non lineari, dimostrando che i proposti stimatori raggiungono il limite di efficienza semiparametrica (o un'alternativa robusta) a scale di complessità campionaria ottimali.

Risultati

Gli autori validano la loro teoria attraverso esperimenti su dati sintetici e reali:

• Inizializzazione: Dimostrano che un'inizializzazione a basso rango (tramite stima spettrale e minimizzazione alternata) seguita da un raffinamento elemento per elemento è essenziale per una stima accurata in regimi sparsi, superando significativamente i modelli BTL per singolo task.
• Normalità Asintotica: Le simulazioni confermano che sia l'efficiente che lo stimatore score-whitened raggiungono una copertura quasi nominale (95%) per target lineari e non lineari (ad esempio, probabilità di vittoria) all'aumentare della dimensione del campione.
• Efficienza vs. Robustezza: Lo stimatore efficiente produce costantemente errori standard minori (maggiore efficienza) rispetto allo stimatore score-whitened, confermando che mira al limite semiparametrico. Tuttavia, lo stimatore score-whitened offre maggiore robustezza e stabilità sotto geometrie di informazione altamente eterogenee.
• Campionamento Non Uniforme: Gli esperimenti sul campionamento non uniforme (che imita i dati ARENA) mostrano che l'IPW combinato con lo score-whitening mantiene una copertura valida. Lo stimatore efficiente mantiene un vantaggio in termini di varianza ma richiede una stima stabile dell'operatore di informazione.
• Applicazione su Dati Reali: Applicato al dataset ARENA (81k osservazioni, 30 modelli, 10 categorie), l'efficiente stimatore one-step ha prodotto gli intervalli di confidenza più stretti con una copertura vicina al 95%, superando gli approcci baseline e l'approccio più conservativo dello score-whitening.

Significatività e Rivendicazioni

Il paper rivendica di fornire un framework rigoroso per la quantificazione dell'incertezza nella valutazione degli LLM. Andando oltre il semplice ranking verso l'inferenza semiparametrica su tensori latenti strutturati, affronta la necessità critica di intervalli di confidenza affidabili per il confronto tra modelli.

Gli autori sottolineano che il loro lavoro colma il divario tra la teoria del completamento di tensori e la statistica dei confronti a coppie. Sostengono che i metodi di completamento standard siano insufficienti perché ignorano la natura binaria dei dati, i vincoli di identificazione e l'eteroschedasticità dell'informazione. Il framework proposto non è limitato agli LLM; gli autori notano la sua più ampia applicabilità a qualsiasi problema di inferenza a basso rango che coinvolga geometrie di informazione eterogenee, campionamento non uniforme e osservazioni a 1-bit.

Il paper posiziona modestamente il proprio contributo come l'instaurazione dei limiti teorici e la costruzione di stimatori fattibili per questa specifica classe di problemi, piuttosto che la proposta di nuove architetture LLM o protocolli di benchmarking. Evidenzia come il "collo di bottiglia della non-commutatività" sia una caratteristica unica di questo setting che necessita delle proposte strategie di score-whitening o di una attenta inversione dell'operatore.