Improving Attributed Long-form Question Answering with Intent Awareness

1. Il Problema

I modelli linguistici di grandi dimensioni (LLM) sono sempre più utilizzati per generare report scientifici lunghi e complessi basati su molteplici fonti. Tuttavia, questi modelli, sebbene addestrati su un vasto corpus di documenti accademici, non sono esposti ai processi di ragionamento e alle intenzioni che guidano gli autori umani nella stesura di tali documenti.

• Limitazione attuale: I sistemi di ricerca profonda (deep research) attuali tendono ad aggregare contenuti e citare fonti senza esplicitare perché una certa informazione è stata inclusa o qual è lo scopo di un paragrafo specifico. Le intenzioni di alto livello (come pianificazione, organizzazione e struttura argomentativa) sono spesso invisibili nel testo finale e quindi assenti nei dati di addestramento.
• Conseguenza: I modelli imitano lo stile di scrittura umana ma non modellano esplicitamente il processo cognitivo sottostante, portando a una minore qualità nella citazione, nella coerenza strutturale e nella leggibilità dei report generati.

2. Metodologia

Gli autori propongono un framework di scrittura consapevole delle intenzioni (Intent-Aware Writing Framework) che integra la consapevolezza delle intenzioni sia durante l'inferenza che durante l'addestramento.

A. Schema delle Intenzioni

Il framework utilizza uno schema basato su tag strutturati per estrarre e rappresentare due livelli di intenzioni:

1. Intenzioni dei Paragrafi (Paragraph Intents): Definiscono lo scopo funzionale di ogni paragrafo all'interno della narrazione complessiva. Le categorie includono: Exposition (esposizione), Definition (definizione), Argumentation (argomentazione), Compare-Contrast (confronto), Cause-Effect (causa-effetto), Problem-Solution (problema-soluzione), Evaluation (valutazione) e Narration (narrazione).
2. Intenzioni delle Citazioni (Citation Intents): Definiscono il motivo specifico per cui una citazione viene utilizzata in una frase. Le categorie sono tratte dal framework ACL-ARC e includono: Background (sfondo), Motivation (motivazione), Uses (utilizzo), Extension (estensione), Comparison or Contrast (confronto) e Future (lavoro futuro).

Le intenzioni sono rappresentate con tag inline e una breve razionale (spiegazione naturale), ad esempio: <bpit>[PIT-Cause-Effect]: Rationale... <epit>.

B. Strategie di Implementazione

Il paper esplora due modalità principali di integrazione:

1. Inferenza (Test-Time): I modelli vengono istruiti a generare report con i tag delle intenzioni incorporati direttamente nel testo. Questo agisce come una forma di scaling al momento del test, costringendo il modello a pianificare la struttura prima o durante la generazione.
2. Addestramento (Fine-Tuning):
   • Viene utilizzato un modello "insegnante" (grande) per generare dati sintetici di alta qualità con intenzioni incorporate.
   • Questi dati vengono utilizzati per il Supervised Fine-Tuning (SFT) di modelli più piccoli.
   • Vengono testate tre varianti di SFT:
     • Intent-Explicit: Il modello impara a generare sia il testo che i tag delle intenzioni.
     • Intent-Implicit: I tag vengono rimossi prima dell'addestramento, ma il modello apprende lo schema strutturale sottostante.
     • Intent-Multiview: I dati vengono decomposti in sottoproblemi (solo intenzioni paragrafo, solo intenzioni citazione, ecc.) per ridurre la complessità dell'istruzione.

3. Contributi Chiave

• Framework di Intenzioni Strutturato: Introduzione di uno schema tag-based che esplicita il "pensiero" dietro la scrittura scientifica, ispirato a lavori precedenti su STaR e ToW.
• Miglioramento dell'Attribuzione: Dimostrazione che la consapevolezza delle intenzioni migliora drasticamente la qualità delle citazioni (precisione e richiamo), non solo la fluidità del testo.
• Distillazione Efficace: Dimostrazione che i dati sintetici generati con intenzioni permettono a modelli piccoli (es. 4B-8B parametri) di raggiungere o superare le prestazioni di modelli commerciali molto più grandi (es. Gemini-2.5-pro, Claude Opus-4) su task di ricerca scientifica.
• Analisi del Comportamento del Modello: Fornisce nuovi strumenti diagnostici per analizzare come i modelli utilizzano le fonti, rivelando differenze nelle strategie di scrittura rispetto agli umani (es. sottoutilizzo del confronto).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre benchmark recenti per la generazione di report scientifici: SQA-CS-V2 (AstaBench), DeepScholar Bench e ResearchQA.

• Prestazioni dei Modelli Grandi (Inferenza): L'uso delle intenzioni durante l'inferenza ha portato a miglioramenti medi di +2.9 punti assoluti per i modelli commerciali di grandi dimensioni (o3, gemini-2.5-pro, claude-4), nonostante avessero già prestazioni di base elevate.
• Prestazioni dei Modelli Piccoli (SFT): I modelli più piccoli addestrati con la strategia Intent-Aware SFT hanno mostrato un miglioramento drastico di +12.3 punti assoluti rispetto alle baseline. Le varianti migliori hanno raggiunto livelli di performance paragonabili a modelli molto più grandi come Gemini-2.5-pro.
• Metriche di Citazione: I guadagni principali sono stati osservati nelle metriche di attribuzione. I modelli con intenzioni hanno mostrato aumenti significativi nella Precisione delle Citazioni e nel Richiamo delle Citazioni (fino a +18.7 punti per i modelli piccoli).
• Comportamento e Lettura:
  • L'analisi ha mostrato che i modelli con intenzioni utilizzano una porzione maggiore di informazioni recuperate (retrieved candidates) senza perdere precisione.
  • Uno studio utente ha rivelato che la presenza di tag di intenzione migliora significativamente la leggibilità e la trasparenza. I partecipanti hanno riportato maggiore fiducia nel decidere se approfondire un paragrafo o una citazione, specialmente per concetti complessi.

5. Significato e Implicazioni

Questo lavoro dimostra che incorporare elementi del processo di scrittura umana (in particolare le intenzioni e la pianificazione strutturale) che sono tipicamente assenti nei dati di addestramento standard, può potenziare significativamente le capacità di generazione dei LLM.

• Affidabilità Scientifica: Il metodo produce report più focalizzati, affidabili e utili, con un'attribuzione delle fonti più rigorosa, cruciale per la ricerca scientifica.
• Efficienza dei Costi: Permette di ottenere prestazioni di livello "stato dell'arte" utilizzando modelli più piccoli ed economici, grazie alla distillazione di conoscenze strutturali da modelli più grandi.
• Nuova Prospettiva di Valutazione: Le intenzioni offrono un nuovo livello di analisi per valutare non solo cosa dice un modello, ma come e perché organizza le informazioni, permettendo di identificare lacune nella capacità di sintesi e confronto rispetto alla scrittura umana.

In sintesi, il paper propone che la "consapevolezza delle intenzioni" non è solo un dettaglio di formattazione, ma un meccanismo fondamentale per allineare i modelli di linguaggio ai processi cognitivi umani necessari per la generazione di conoscenza complessa e strutturata.