HAL: Inducing Human-likeness in LLMs with Alignment

Sintesi Tecnica: HAL: Indurre l'Umanità nei LLM tramite l'Allineamento

Problematica
Allineare i Large Language Models (LLM) a tratti comportamentali qualitativi, specificamente alla "umanità" nella conversazione, rimane una sfida significativa. A differenza delle metriche orientate ai compiti, l'umanità è difficile da definire, misurare e ottimizzare in modo sistematico. I miglioramenti attuali nella percezione dell'umanità sono guidati principalmente dalla scala del modello o da un addestramento supervisionato generico, piuttosto che da un allineamento mirato. Inoltre, i giudizi umani sull'umanità sono tipicamente olistici e impliciti, privi dei criteri espliciti necessari per costruire un segnale di ricompensa per l'apprendimento per rinforzo o l'ottimizzazione delle preferenze. Di conseguenza, non esiste un metodo sistematico per allineare i modelli verso comportamenti conversazionali più simili a quelli umani.

Metodologia
Il documento presenta HAL (Human Aligning LLMs), un framework basato sui dati che quantifica l'umanità conversazionale in un segnale di ricompensa scalare interpretabile. La metodologia si articola in quattro fasi:

1. Estrazione dei Tratti dai Dati Contrastivi:
   Gli autori utilizzano trascrizioni di dialoghi del test di Turing (specificamente di Jones e Bergen, 2025) come dati contrastivi contenenti coppie di conversazioni uomo-uomo e uomo-IA. Un giudice basato su LLM (inizialmente GPT-5 con elevate capacità di ragionamento) analizza queste coppie per generare ragioni strutturate, in stile scala Likert, per distinguere l'umano dall'IA. Queste ragioni in linguaggio naturale vengono incorporate e raggruppate (clustering) per identificare segnali ricorrenti. Attraverso un processo di sintesi, queste vengono distillate in un insieme compatto di 32 caratteristiche (HL32Q) che distinguono in modo affidabile il dialogo umano da quello dell'IA in questo contesto.

2. Quantificazione tramite Regressione Logistica:
   Per convertire questi tratti qualitativi in un segnale quantitativo, gli autori addestrano un modello di regressione logistica. Un giudice LLM (Giudice HL32Q) valuta indipendentemente un dato dialogo rispetto ai 32 tratti su una scala Likert da 1 a 5, producendo un vettore di caratteristiche $A \in \mathbb{R}^{32}$. Il modello di regressione logistica apprende i pesi ($W$) e il bias ($b$) per predire se un dialogo è umano ($y=1$) o IA ($y=0$).
   Per migliorare l'interpretabilità, gli autori eseguono una riduzione delle caratteristiche, selezionando i primi 16 tratti (HL16Q) basati sull'entità assoluta dei loro pesi appresi. Ciò produce un singolo Punteggio di Umanità (Human-Likeness Score):
   $$\text{HumanLikeness}(A) = \sum_{i=1}^{16} A_i W_i + b$$
   Questo punteggio funge da segnale di ricompensa per l'allineamento.

3. Ottimizzazione delle Preferenze (DPO):
   Il framework inquadra l'allineamento come un problema di apprendimento delle preferenze. Per un set di persona sintetizzate (principalmente in un dominio di comunicazione medica), vengono generati dialoghi candidati da vari modelli. Questi dialoghi vengono valutati utilizzando il Giudice HL16Q. Vengono costruite coppie di dialoghi in cui il dialogo con il punteggio HL16Q più alto è etichettato come "scelto" (chosen) e quello con il punteggio più basso come "scartato" (rejected). Queste coppie classificate vengono utilizzate per perfezionare (fine-tune) modelli di varie dimensioni (da 1B a 72B di parametri) utilizzando la Direct Preference Optimization (DPO).

4. Valutazione:
   Gli autori validano l'approccio attraverso:

   • Test Out-of-Distribution (OOD): Valutazione del punteggio HL16Q su un dataset separato di comunicazione oncologica per garantirne la generalizzabilità.
   • Valutazione Umana: Un test A/B in stile Chatbot Arena in cui partecipanti umani giudicano quale di due modelli sembri più umano.
   • Benchmark di Capacità: Valutazione delle prestazioni su benchmark di intelligenza emotiva (EmoBench, EQBench3) per garantire che l'allineamento non degradi altre capacità.

Risultati Chiave

• Identificazione dei Tratti: La pipeline ha identificato con successo 32 tratti distinti, ridotti a 16 (HL16Q), che distinguono efficacementamente il dialogo umano da quello dell'IA. Il classificatore di regressione logistica ha raggiunto un'accuratezza del 77,47% sul dataset del test di Turing usando tutti i 32 tratti e del 77,12% con i 16 tratti ridotti.
• Generalizzabilità: Su un dataset OOD (comunicazione oncologica), le conversazioni uomo-uomo hanno ricevuto punteggi HL16Q significativamente più alti rispetto alle conversazioni uomo-IA (differenza media $\Delta = 3,02$, $p < 10^{-17}$), con un AUC di 0,907, indicando che i tratti catturano segnali trasferibili dell'umanità.
• Performance di Allineamento: Nelle valutazioni umane, il modello Qwen2.5-14B allineato con HAL ha ottenuto un tasso di vittoria del 61,78% e un punteggio Elo di 1556,97, superando sia il suo corrispettivo base (53,62%) che il modello proprietario GPT-4o-mini (34,29%).
• Preservazione delle Capacità: L'allineamento con HAL non ha portato a una degradazione sistematica nei benchmark di intelligenza emotiva. In diversi casi, particolarmente per i modelli di piccola e media scala, le prestazioni su EQBench3 sono migliorate dopo l'allineamento.
• Interpretabilità: Il framework consente l'ispezione dei cambiamenti di specifici tratti durante l'addestramento. Ad esempio, gli autori hanno osservato che il tratto "Mantiene le risposte brevi e informali" (Q1) ha subito lo spostamento distributivo più significativo, validando il fatto che il modello stia apprendendo comportamenti specifici e interpretabili piuttosto che ottimizzare un obiettivo opaco.

Significatività e Rivendicazioni
Il documento sostiene che HAL dimostra una via percorribile per allineare i LLM a proprietà "morbide" e qualitative che erano precedentemente al di fuori della portata degli standard di allineamento. Derivando tratti espliciti e interpretabili da dati contrastivi e comprimendoli in un segnale di ricompensa trasparente, HAL consente:

1. Allineamento Misurabile: Conversione del concetto soggettivo di "umanità" in un segnale di ricompensa scalare quantificabile.
2. Trasparenza e Diagnosi: A differenza dei modelli di ricompensa "black-box", il punteggio HL16Q permette ai ricercatori di ispezionare quali specifici tratti conversazionali vengono incoraggiati e di diagnosticare effetti indesiderati o l'ottimizzazione eccessiva del premio (reward hacking).
3. Generalizzabilità del Metodo: L'approccio offre una metodologia generale per indurre altri tratti difficili da specificare (es. compiacenza, manipolazione) inferendoli da esempi contrastivi, a condizione che possano essere resi misurabili.

Gli autori osservano che, sebbene il metodo migliori la percezione dell'umanità, i tratti estratti sono specifici delle norme conversazionali dei dati di addestramento (test di Turing) e potrebbero richiedere un adattamento al dominio per altri contesti (es. dialogo medico). Riconoscono inoltre il costo computazionale dell'uso di un giudice LLM per la costruzione della ricompensa, ma posizionano HAL come uno step di raffinamento o un metodo per una costruzione di ricompensa più ricca dove l'interpretabilità è fondamentale.