When Context Misleads: Intent-Guided Decoding for Robust Retrieval-Augmented Generation

I modelli linguistici di grandi dimensioni sono strumenti potenti che possono scrivere storie, rispondere a domande e risolvere problemi attingendo alla vasta quantità di informazioni che hanno memorizzato durante l'addestramento. Tuttavia, questi modelli non sono perfetti; a volte dimenticano fatti o inventano dettagli che suonano plausibili ma che sono errati. Per risolvere questo problema, i ricercatori hanno sviluppato un metodo chiamato generazione aumentata dal recupero (retrieval-augmented generation). Questo approccio agisce come un bibliotecario per il modello: quando viene posta una domanda, il sistema cerca prima in un database di documenti esterni per trovare prove rilevanti, poi fornisce tale evidenza al modello insieme alla domanda. La speranza è che il modello utilizzi queste informazioni fresche per dare una risposta più accurata. Eppure, questo sistema ha un difetto nascosto. A volte i documenti che trova sono fuorvianti, obsoleti o addirittura deliberatamente falsi. Se il modello si fida ciecamente di questi documenti, ripeterà i loro errori. Viceversa, se il modello ignora completamente i documenti, potrebbe perdere informazioni utili o non riuscire a rispondere a domande che richiedono dettagli specifici da un testo fornito. La sfida centrale è sapere quando fidarsi dell'evidenza esterna e quando fare affidamento sulla propria conoscenza interna.

Un team di ricercatori dell'Università di Sydney ha proposto un nuovo modo per risolvere questo dilemma, chiamato Decodifica Guidata dall'Intento (Intent-Guided Decoding). Invece di costringere il modello a fidarsi sempre dei documenti o a ignorarli sempre, il loro sistema si affida a istruzioni esplicite dell'utente per determinare la strategia. In alcune situazioni, un utente potrebbe stare leggendo un rapporto specifico e voler che il modello risponda strettamente in base a ciò che dice quel rapporto, anche se il rapporto contiene un errore. In altre situazioni, un utente potrebbe porre una domanda generale di verifica dei fatti e voler che il modello ignori un documento fuorviante a favore della verità. I ricercatori hanno costruito un framework che si adatta a queste specifiche istruzioni. Funziona facendo generare al modello tre diverse potenziali risposte contemporaneamente: una basata sulla domanda originale dell'utente, una basata strettamente sui documenti forniti e una basata esclusivamente sulla propria memoria interna. Il sistema confronta poi questi tre flussi di pensiero. Se i documenti e la memoria interna sono in disaccordo, il sistema controlla le istruzioni dell'utente per decidere quale percorso seguire. Se l'utente ha chiesto esplicitamente di aderire strettamente al testo, il sistema pende verso il documento. Se l'utente ha chiesto esplicitamente la verità, il sistema pende verso la propria memoria interna, filtrando efficacemente l'informazione fuorviante.

I ricercatori hanno testato questo approccio su una grande varietà di domande e diversi tipi di modelli linguistici. Hanno creato scenari in cui i documenti forniti erano corretti e scenari in cui erano deliberatamente errati. Nei casi in cui i documenti erano fuorvianti, i sistemi standard che seguivano ciecamente il testo davano spesso risposte errate. Il nuovo sistema, tuttavia, è stato in grado di riconoscere il conflitto e passare alla propria conoscenza interna, recuperando la risposta corretta in molti casi. In benchmark dove i documenti erano fuorvianti, il nuovo metodo ha migliorato l'accuratezza delle risposte fino a 65,4 punti percentuali rispetto all'approccio standard. Fondamentalmente, questo miglioramento non è avvenuto a scapito dell'ignorare informazioni utili. Quando l'utente ha chiesto esplicitamente al modello di seguire il testo fornito, il sistema ha continuato a farlo accuratamente, anche quando il testo era corretto. Ciò suggerisce che il sistema riesce a bilanciare due esigenze contrastanti: essere fedele al materiale sorgente quando richiesto e essere fattualmente corretto quando il materiale sorgente non è affidabile.

Lo studio ha anche rivelato che dire semplicemente a un modello di "fare attenzione" o "verificare i fatti" non è sufficiente per impedirgli di essere tratto in inganno da cattivi documenti. I ricercatori hanno scoperto che i modelli spesso non riescono a correggersi a meno che non ci sia un meccanismo specifico per pesare l'evidenza rispetto all'intento dell'utente. Il loro metodo non richiede di riaddestrare il modello o di cambiare il modo in cui cerca le informazioni; agisce invece come un filtro intelligente durante l'ultimo passaggio della generazione di una risposta. Analizzando quanto il modello sia sicuro delle sue diverse potenziali risposte e scalando l'influenza dei documenti in base alla loro affidabilità, il sistema può effettuare regolazioni fini. Ad esempio, se la memoria interna è molto sicura e il documento è incerto, il sistema guida delicatamente la risposta verso la verità. Se il documento è forte e l'utente vuole seguirlo, il sistema lascia che il documento guidi la risposta. Questo approccio sfumato permette al modello di gestire situazioni complesse in cui la risposta corretta dipende interamente da ciò che l'utente vuole ottenere.

In definitiva, il lavoro evidenzia che la relazione tra un modello linguistico e la sua conoscenza esterna non è una semplice questione di fiducia o sfiducia. È una negoziazione dinamica che dipende dal contesto della conversazione. I ricercatori hanno dimostrato che rendendo il modello consapevole dell'intento dell'utente, è possibile creare un sistema che sia sia affidabile che flessibile. Ciò significa che in futuro, questi strumenti potrebbero essere più utili per compiti che vanno dall'analisi rigorosa di documenti legali, dove seguire il testo è fondamentale, alle query di conoscenza generale, dove evitare la disinformazione è la priorità. Le scoperte suggeriscono che il futuro dell'intelligenza artificiale risiede non solo nel rendere i modelli più intelligenti, ma nel renderli migliori nel capire quando ascoltare e quando parlare con la propria voce.