Neural Models and Language Model Prompting for the Multidimensional Evaluation of Open-Ended Conversations

Titolo

Modelli Neurali e Prompting di Modelli Linguistici per la Valutazione Multidimensionale di Conversazioni Aperte

1. Il Problema

La valutazione dei sistemi di dialogo basati sull'Intelligenza Artificiale Generativa rappresenta una sfida cruciale. Le conversazioni reali sono imprevedibili e dinamiche, rendendo difficile la loro riproduzione in corpora statici. Esiste un divario significativo tra le valutazioni tramite utenti simulati e quelle con utenti reali, portando spesso a simulazioni irrealistiche o valutazioni umane soggettive e costose.
Il paper si concentra sul DSTC-12 (Track 1), una sfida dedicata alla valutazione automatica di dialoghi open-domain su 10 dimensioni specifiche (es. Qualità Complessiva, Rilevanza, Proattività, Empatia, Fiducia, Abilità, ecc.). L'obiettivo è sviluppare modelli capaci di prevedere punteggi a livello di dialogo che correlino fortemente con i giudizi umani, operando sotto il vincolo di utilizzare modelli relativamente piccoli (meno di 13 miliardi di parametri).

2. Metodologia

Il team ORALIS ha proposto quattro approcci distinti per la valutazione, combinando strategie di prompting e modelli neurali classici:

• A. Prompting di Modelli Linguistici (LM Prompting):

  • Utilizzo di LLM (Large Language Models) come "giudici" tramite prompt.
  • Sono state testate diverse strategie: zero-shot, one-shot, few-shot (con 3 esempi), self-consistency e assegnazione di ruoli (es. "lavoratore crowdsourcing", "esperto").
  • Sono stati sperimentati diversi contesti di dialogo (ultimi 40%, primi 40%, riassunti, conversazione completa) e diversi modelli (Deepseek Llama 8B, Deepseek Qwen 7B, Qwen 2.5 7B).
  • L'obiettivo era generare direttamente il punteggio come token.

• B. Modelli di Regressione:

  • Addestramento di modelli per prevedere i punteggi come numeri reali.
  • Architettura: Un layer di regressione sopra un encoder ModernBERT Large (che supporta finestre di contesto fino a 8K token, a differenza dei 512 token di BERT standard).
  • Il modello ha meno di 1 miliardo di parametri (395M).
  • Loss function: Mean Square Error (MSE).

• C. Modelli di Classificazione:

  • Trattamento dei punteggi come classi discrete (interi).
  • Addestramento di classificatori (MLP) su rappresentazioni Sentence-BERT (SBERT).
  • I punteggi sono stati ridimensionati e arrotondati per adattarsi alle scale target.

• D. Approccio Ibrido:

  • Una combinazione strategica dei metodi sopra citati. Per ogni dimensione, è stato selezionato il modello che ha ottenuto le migliori performance sul set di validazione (esclusa la classificazione per l'ibrido, privilegiando regressione e prompting).

Gestione dei Dati:
Poiché il dataset ufficiale DSTC-12 è piccolo (185 dialoghi), i ricercatori hanno integrato dati da CONTURE e FED. Hanno applicato un processo di mappatura euristica per allineare le dimensioni di questi dataset esterni a quelle di DSTC-12 e una funzione di ridimensionamento lineare per uniformare le scale dei punteggi.

3. Contributi Chiave

• Confronto Sistematico: Analisi comparativa di quattro paradigmi diversi (Prompting, Regressione, Classificazione, Ibrido) su un set di 10 dimensioni eterogenee.
• Efficienza dei Modelli: Dimostrazione che modelli piccoli (<13B parametri per i LLM, <1B per i modelli neurali) possono competere con approcci più complessi in scenari di valutazione multidimensionale.
• Analisi delle Inconsistenze dei Dati: Identificazione critica delle discrepanze tra i set di addestramento/validazione e il set di test, in particolare riguardo alla distribuzione e ai range dei punteggi (es. punteggi che variano da 0-100 nel training a 1-10 nel test per alcune dimensioni).
• Strategie di Contesto: Valutazione dell'impatto di diverse porzioni di dialogo (riassunti vs. parti specifiche) sulle performance del prompting.

4. Risultati

I risultati sono stati valutati sulla correlazione di Spearman assoluta media rispetto ai giudizi umani.

• Performance sul Set di Test:

  • Nessun sistema proposto ha superato la baseline (un Llama-3.1-8B-Instruct promptato) in termini di correlazione assoluta media sul set di test (0.14-0.15 contro 0.17 della baseline).
  • Tuttavia, i metodi proposti hanno superato la baseline su maggioranza delle dimensioni individuali.
  • L'approccio di Classificazione ha vinto su 6 dimensioni (inclusa l'Empatia), risultando il metodo con il maggior numero di vittorie dimensionali, nonostante la bassa performance media globale.
  • Il Prompting LM ha mostrato la migliore capacità di generalizzazione, superando la baseline su 5 dimensioni e performando talvolta meglio sul test set che sul validation set (es. su Curiosity e Overall).

• Performance sul Set di Validazione vs. Test:

  • Overfitting: I modelli di regressione e classificazione hanno mostrato correlazioni molto elevate sul validation set (0.68-0.79 per dimensioni come Relevance e Proactivity), ma un crollo drastico sul test set (spesso correlazioni negative o vicine allo zero).
  • Generalizzazione del Prompting: Al contrario, il prompting ha mostrato una maggiore robustezza, mantenendo o migliorando le performance su alcune dimensioni nel passaggio da validazione a test.
  • Fallimento dell'Ibrido: L'approccio ibrido, che combinava i migliori modelli del validation set, non ha generalizzato bene al test set, confermando che la selezione basata solo sulla validazione è rischiosa quando le distribuzioni dei dati cambiano.

• Analisi delle Cause:

  • Il calo di performance è attribuito principalmente alle inconsistenze nelle annotazioni e ai diversi range di punteggi tra training e test (es. punteggi umani concentrati tra 6-10 su una scala 0-100 nel training, ma distribuiti diversamente nel test).
  • La soggettività umana e la possibile incomprensione dei criteri di valutazione da parte degli annotatori hanno introdotto "rumore" che i modelli hanno faticato a gestire.

5. Significato e Conclusioni

Il paper evidenzia che, nonostante i progressi nell'IA generativa, la valutazione automatica delle conversazioni rimane un problema aperto a causa della soggettività umana e della qualità dei dati di annotazione.

• Implicazioni: I modelli classici (regressione/classificazione) sono competitivi e più efficienti dei grandi LLM, ma soffrono fortemente di overfitting se i dati di test hanno distribuzioni diverse. Il prompting, pur essendo meno preciso in termini di correlazione assoluta media, offre una maggiore resilienza e generalizzazione.
• Raccomandazioni Future: Gli autori suggeriscono che il miglioramento delle metriche automatiche dipende meno dall'aumento della potenza dei modelli e più dal miglioramento della qualità e consistenza dei dataset (campagne di annotazione dedicate) e dall'uso di tecniche di adattamento di dominio per colmare il divario tra dati di training e scenari reali.
• Limiti: L'uso di dataset piccoli e la mappatura soggettiva tra dataset diversi hanno limitato la capacità di addestramento robusto dei modelli neurali classici.

In sintesi, il lavoro dimostra che non esiste un "metodo unico" per la valutazione multidimensionale e che la sfida principale risiede nella coerenza dei dati di riferimento piuttosto che nella complessità architetturale del modello di valutazione.