Users as Annotators: LLM Preference Learning from Comparison Mode

Sintesi Tecnica: Utenti come Annotatori: Apprendimento delle Preferenze degli LLM dalla Modalità di Confronto

Enunciato del Problema
L'allineamento dei Modelli Linguistici su Larga Scala (LLM) con le preferenze umane si basa tipicamente su dati di preferenza a coppie, dove gli annotatori selezionano la risposta migliore tra due output del modello. Tradizionalmente, questi dati vengono raccolti tramite annotatori umani professionali, un processo costoso e limitato in scala. Sebbene gli utenti finali delle piattaforme LLM (ad esempio, tramite modalità di confronto in ChatGPT) offrano una fonte vastissima e scalabile di dati di preferenza, questo approccio soffre di una critica mancanza di controllo di qualità. A differenza degli annotatori professionali, gli utenti non sono incentivati a fornire giudizi coerenti e possono etichettare i dati in modo casuale. Le tecniche esistenti di controllo di qualità, come le "domande oro" o i controlli di auto-coerenza, sono impraticabili in questo contesto perché le piattaforme non possono controllare le query degli utenti o forzare annotazioni ripetute. La sfida principale consiste nel distinguere feedback utente di alta qualità e attento da input casuali e rumorosi, senza accesso a etichette di verità fondamentale o supervisione di esperti.

Metodologia
Il documento propone un quadro per valutare la qualità dell'annotazione degli utenti e filtrare i dati per compiti di allineamento a valle (in particolare l'Ottimizzazione Diretta delle Preferenze, o DPO). La metodologia si basa su tre componenti chiave:

1. Generazione Asimmetrica delle Risposte: A differenza delle pipeline di preferenza standard in cui due risposte sono generate dallo stesso modello, questo quadro genera due risposte ($y_{i1}, y_{i2}$) da due diversi LLM ($P_A$ e $P_B$) con un divario di prestazioni noto. Questa asimmetria crea una leva statistica: un utente attento è previsto preferire il modello più forte più spesso, mentre un utente casuale sceglie in modo casuale.
2. Modello Comportamentale dell'Utente: Gli autori modellano il comportamento di annotazione dell'utente $j$ utilizzando un parametro latente di "attenzione" $\eta_j \in [0, 1]$.
   • Se $\eta_j = 1$, l'utente agisce come un annotatore perfetto, selezionando la risposta preferita dalla popolazione con probabilità $p(x_i)$.
   • Se $\eta_j = 0$, l'utente seleziona in modo casuale (50/50).
   • La probabilità che l'utente $j$ selezioni la risposta 1 è modellata come $P(z_{ij}=1|x_i) = 1/2 + \eta_j \cdot (p(x_i) - 1/2)$.
   • Qui, $p(x_i)$ rappresenta la vera probabilità di preferenza della popolazione (la probabilità che il Modello A sia migliore del Modello B).
3. Algoritmo di Massima Verosimiglianza Aspettata (EM): Poiché $\eta_j$ non è osservabile, gli autori sviluppano un algoritmo EM per stimare i parametri del modello comportamentale dell'utente (inclusa la distribuzione di $\eta_j$ e la probabilità globale di preferenza $\mu$).
   • Passo E: Calcola la distribuzione a posteriori dell'attenzione $\eta_j$ di ciascun utente data la sua cronologia di annotazioni e le attuali stime dei parametri.
   • Passo M: Aggiorna i parametri del modello per massimizzare la verosimiglianza logaritmica attesa dei dati completi.
   • L'algoritmo assume una probabilità globale di preferenza $\mu$ nota o stimabile (il tasso medio di vittoria del Modello A sul Modello B) per garantire l'identificabilità, sebbene il documento discetta estensioni per $\mu$ sconosciuto.
   • Una volta inferito $\eta_j$, gli utenti vengono filtrati in base a una soglia (ad esempio, mantenendo solo quelli con alta probabilità a posteriori di essere attenti).

Contributi Chiave

• Nuovo Quadro di Annotazione: Il documento introduce il primo modello probabilistico specificamente progettato per catturare il comportamento degli utenti nelle modalità di confronto degli LLM, sfruttando l'asimmetria della generazione delle risposte da due modelli diversi per inferire la qualità dei dati.
• Inferenza Statistica tramite EM: Sviluppa un algoritmo EM per stimare l'attenzione latente dell'utente e la distribuzione sottostante delle preferenze. Gli autori forniscono garanzie teoriche, dimostrando che, sotto specifiche condizioni di regolarità, l'algoritmo converge ai parametri veri all'aumentare del numero di utenti e campioni.
• Filtraggio dei Dati per l'Allineamento: Il quadro dimostra una pipeline pratica in cui l'attenzione inferita viene utilizzata per filtrare le annotazioni di bassa qualità prima dell'addestramento. Ciò consente di utilizzare enormi quantità di dati generati dagli utenti non verificati, mitigando al contempo il rumore.

Risultati Sperimentali
Gli autori validano il loro approccio attraverso esperimenti sintetici e compiti DPO a valle:

• Convergenza Sintetica: Le simulazioni confermano che l'algoritmo EM converge ai parametri veri indipendentemente dall'inizializzazione. L'algoritmo dimostra anche robustezza rispetto a una specifica errata del modello (ad esempio, stimare una distribuzione discreta quando la distribuzione vera è continua).
• Prestazioni DPO: Negli esperimenti utilizzando dataset come UltraFeedback e HelpSteer3, gli autori hanno eseguito il fine-tuning di LLM (ad esempio, Qwen2.5-7B) utilizzando dati filtrati.
  • Il filtraggio per utenti attenti (mantenendo l'80% superiore in base all'attenzione inferita) ha migliorato costantemente le prestazioni DPO rispetto all'addestramento su dati non filtrati.
  • I miglioramenti includevano punteggi di ricompensa media più alti (aumento superiore al 10% in alcuni casi) e tassi di vittoria più elevati rispetto ai modelli di base.
  • Gli esperimenti hanno anche evidenziato un compromesso: sebbene il filtraggio migliori la qualità, un filtraggio eccessivo riduce il volume dei dati. Esiste una soglia ottimale che dipende dalla distribuzione sottostante dell'attenzione degli utenti.
  • È stato riscontrato che il divario di prestazioni tra i due modelli di generazione (rappresentato da $\mu$) è critico; se $\mu$ è troppo vicino a 0,5, gli utenti attenti e quelli casuali diventano indistinguibili, ostacolando il processo di filtraggio.

Significato e Affermazioni
Il documento afferma di offrire una soluzione scalabile per l'allineamento degli LLM trasformando gli utenti finali in annotatori efficaci. Formalizzando il comportamento degli utenti e introducendo un meccanismo statistico per filtrare il rumore, il lavoro consente l'utilizzo di enormi quantità di dati di preferenza generati dagli utenti che in precedenza erano considerati troppo rumorosi per l'addestramento. Gli autori collocano questo approccio come complementare ai metodi di addestramento robusti esistenti (come il DPO robusto), concentrandosi sulla qualità dei dati prima dell'addestramento piuttosto che solo sulla tolleranza al rumore durante l'addestramento. Il lavoro apre inoltre la strada a futuri meccanismi di incentivazione degli utenti, come la ricompensa degli utenti in base ai loro livelli di attenzione inferiti. Il contributo teorico risiede nelle garanzie di convergenza globale dell'algoritmo EM proposto per questo specifico modello comportamentale, fornendo una solida base matematica per l'approccio.