Implicature in Interaction: Understanding Implicature Improves Alignment in Human-LLM Interaction

Riepilogo Tecnico: Prompting Consapevole dell'Implicatura nell'Interazione Uomo–LLM

Enunciato del Problema
Mentre i Modelli Linguistici di Grandi Dimensioni (LLM) diventano l'interfaccia primaria per l'interazione uomo-computer (HCI), i sistemi faticano sempre più con i fenomeni pragmatici, in particolare l'implicatura conversazionale. L'implicatura si riferisce al significato veicolato indirettamente attraverso il contesto, le assunzioni condivise e le norme comunicative, piuttosto che attraverso un'affermazione esplicita (ad esempio, implicare un rifiuto affermando "Ho molto lavoro"). Gli LLM attuali spesso adottano interpretazioni letterali, portando a risposte che gli utenti percepiscono come rigide, poco intelligenti o non allineate alla loro intenzione comunicativa. Sebbene i benchmark esistenti valutino le prestazioni dei modelli su compiti di implicatura, esiste un vuoto nella comprensione se rendere esplicita l'intenzione implicita attraverso il prompting migliori la qualità percepita e la pertinenza delle risposte in contesti rivolti all'utente. Inoltre, manca una tassonomia leggera e operativa specificamente progettata per la progettazione e la valutazione degli stimoli nell'HCI.

Metodologia
Lo studio adotta un disegno a tre esperimenti per operationalizzare l'implicatura e valutarne l'impatto sulla percezione dell'utente:

1. Sviluppo della Tassonomia: Gli autori hanno introdotto una tassonomia operativa orientata all'HCI di tre classi di implicatura basata sulla pragmatica griciana e sulla teoria degli atti linguistici di Searle:

   • Ricerca di informazioni: Richieste indirette di conoscenza o chiarimenti.
   • Ricerca di direzione: Richieste indirette di guida, azione o prossimi passi.
   • Espressiva: Enunciati che veicolano affetto, atteggiamento o valutazione senza una richiesta diretta.
     È stata stabilita una griglia di valutazione per etichettare i prompt in base all'intenzione implicita primaria e all'obbligo di risposta al primo turno richiesto.

2. Esperimento 1 (Benchmark di Interpretazione):

   • Compito: 60 partecipanti umani e cinque LLM (GPT-4o, GPT-4, GPT-3.5-turbo, Llama-2-7b-chat, Mistral-7B-Instruct) sono stati invitati a classificare 30 prompt autenticati nelle tre classi di implicatura.
   • Obiettivo: Verificare la apprendibilità e la coerenza interna della tassonomia e valutare l'allineamento del modello rispetto a una linea di base di interpretazione umana.

3. Esperimento 2 (Pertinenza e Qualità Percepita):

   • Compito: 90 partecipanti hanno valutato le risposte degli LLM su una scala Likert a 5 punti per pertinenza percepita e qualità complessiva.
   • Condizioni: Le risposte sono state generate in due condizioni:
     • Baseline: Prompt di sistema standard.
     • Consapevole dell'Implicatura: Il modello ha ricevuto una breve definizione della specifica classe di implicatura e del suo obiettivo comunicativo per il prompt (senza i dettagli completi della griglia).
   • Disegno: Un disegno di valutazione tra soggetti incompleto in cui i partecipanti hanno visualizzato sottoinsiemi di coppie prompt-risposta.

4. Esperimento 3 (Follow-up Mirato a Scelta Forzata):

   • Compito: 30 partecipanti hanno eseguito un compito a scelta forzata tra due alternative su un sottoinsieme mirato di 10 coppie prompt-risposta. Queste coppie sono state selezionate a posteriori dall'Esperimento 2 sulla base di differenze ad alto contrasto nelle valutazioni di pertinenza o qualità.
   • Obiettivo: Determinare se i vantaggi di valutazione osservati nell'Esperimento 2 si traducono in una preferenza diretta a coppie quando entrambe le opzioni sono presentate fianco a fianco.

Contributi Chiave

1. Tassonomia Operativa: Introduzione di una tassonomia pratica di implicatura a tre classi (Ricerca di informazioni, Ricerca di direzione, Espressiva) fondata sulla teoria linguistica ma ottimizzata per la progettazione e la valutazione degli stimoli nell'HCI.
2. Benchmarking dei Modelli: Un benchmark comparativo di cinque LLM rispetto a una linea di base umana, che rivela una significativa varianza nella misura in cui i modelli si allineano alle interpretazioni umane dell'intenzione implicita.
3. Evidenza Centrata sull'Utente: Evidenza empirica che dimostra che il prompting consapevole dell'implicatura (rendere esplicita l'intenzione comunicativa) migliora misurabilmente le valutazioni degli utenti delle risposte degli LLM in termini di pertinenza, qualità e preferenza diretta.

Risultati

• Coerenza della Tassonomia: La griglia a tre classi è stata apprendibile e internamente coerente, con gli annotatori umani che hanno raggiunto un accordo moderato (Fleiss' $\kappa$ = 0,414) sui prompt autenticati.
• Allineamento del Modello: I modelli più grandi si sono allineati più strettamente alle interpretazioni umane. GPT-4o ha raggiunto il più alto accordo (86,67%), seguito da GPT-4 (73,33%). I modelli più piccoli (Llama-2, Mistral-7B, GPT-3.5) hanno mostrato un allineamento più debole e irregolare, in particolare nelle categorie Ricerca di direzione ed Espressiva.
• Impatto del Prompting (Esperimento 2): Il prompting consapevole dell'implicatura ha migliorato significativamente sia la pertinenza percepita ($p < .001$) sia la qualità percepita ($p < .001$) nell'insieme di risposte valutate. L'intervento non ha mostrato effetti di interazione significativi con la dimensione del modello o la classe di implicatura, suggerendo che il beneficio è ampio piuttosto che specifico per certi modelli o tipi di prompt.
• Preferenza Diretta (Esperimento 3): Nel follow-up a scelta forzata, i partecipanti hanno selezionato la risposta consapevole dell'implicatura nel 67,6% dei casi, una proporzione significativamente superiore al caso ($p = 1,04 \times 10^{-9}$).

Significato e Affermazioni
Il documento sostiene che l'implicatura è un caso di test praticamente consequenziale per l'integrazione della teoria linguistica nella progettazione HCI. I risultati supportano una conclusione modesta ma concreta:

• L'Impalcatura Pragmatica Funziona: Rendere esplicita l'intenzione comunicativa implicita attraverso un prompting strutturato migliora la qualità percepita dell'interazione basata sul linguaggio senza richiedere il riaddestramento del modello o modifiche architetturali.
• Implicazione per la Progettazione: I sistemi conversazionali non dovrebbero trattare tutti gli input come richieste letterali. I progettisti dovrebbero adottare strategie di prompting che portino alla luce le intenzioni utente probabili (ad esempio, guida o affetto) per migliorare la pertinenza e l'appropriatezza.
• Limitazione dei Modelli Attuali: Lo studio chiarisce che questi guadagni derivano dall'impalcatura pragmatica (guida esplicita) piuttosto che da prove che i modelli attuali possiedano un ragionamento pragmatico umano stabile e non assistito. I modelli più grandi approssimano meglio il giudizio umano, ma anche loro traggono beneficio dalla messa in luce esplicita dell'intenzione.
• Cambiamento nell'HCI: Il lavoro sostiene il passaggio oltre l'accuratezza dei benchmark per includere la pertinenza percepita dall'utente, la qualità e la preferenza diretta come metriche centrali per la valutazione dei sistemi di interazione basati sul linguaggio.

Gli autori sottolineano che, sebbene lo studio dimostri il valore della messa in luce esplicita dell'intenzione, non afferma che gli LLM abbiano risolto il problema dell'inferenza autonoma dell'implicatura. Piuttosto, evidenzia il valore dell'uso della teoria linguistica per informare la progettazione dei prompt e la valutazione dell'interazione.