Riepilogo Tecnico: Quando i Riassunti Distorcono le Decisioni: Fedeltà dell'Informazione nell'Analisi Finanziaria Compressa da LLM

1. Formulazione del Problema

Nei domini finanziari ad alto rischio, i decisori si affidano ai Large Language Models (LLM) per comprimere documenti lunghi (ad es. moduli 10-Q, trascrizioni di call sugli utili) in contesti più brevi. Sebbene le valutazioni esistenti si concentrino sulla qualità della ricostruzione, sulla coerenza fattuale o sulla preservazione superficiale delle informazioni, esse spesso non riescono a valutare se il contesto compresso preservi la decisione implicita nella fonte originale.

Il documento definisce la Fedeltà dell'Informazione come preservazione della decisione relativa alla fonte: una compressione ha un'alta fedeltà se la distribuzione delle credenze indotta dal testo compresso rimane vicina a quella della fonte originale. Il principale modello di fallimento identificato non è la semplice allucinazione, ma la distorsione della decisione, in cui un riassunto fluido e fattualmente plausibile conduce un decisore a valle verso un giudizio di investimento (Bear/Neutral/Bull) diverso da quello che il testo completo della fonte supporterebbe. Questa distorsione può derivare da:

• Decontestualizzazione: Mantenimento di fatti salienti (headline) eliminando però le clausole di esclusione, i confronti, gli offset o la strutturazione delle aspettative necessari per una corretta interpretazione.
• Dipendenza dal Modello: Diversi modelli di compressione preservano sottoinsiemi differenti di prove dalla stessa fonte, portando a inclinazioni sistematiche e specifiche per ogni modello nel risultato finale.

2. Metodologia

2.1 Setup Sperimentale

• Dataset: Lo studio utilizza 300 sezioni MD&A di moduli 10-Q e 297 trascrizioni di call trimestrali di società S&P 100 (Fiscal 2025 Q1–Q3).
• Modello Decisionale: Un modello decisionale fisso ($E$), nello specifico GEMINI-3.1-FLASH-LITE, mappa il testo in una distribuzione di credenza su $\{bear, neutral, bull\}$.
• Metriche:
  • Tasso di Inversione della Decisione (Decision Flip Rate): La frazione di documenti in cui l'etichetta predetta principale cambia dopo la compressione.
  • Distanza di Variazione Totale (TVD): Misura l'entità dello spostamento delle credenze anche quando l'etichetta principale rimane invariata.
  • Livello di Rumore (Noise Floor): Stabilito facendo rileggere il modello decisionale della fonte originale senza compressione, per quantificare la casualità intrinseca del modello.

2.2 Approcci di Compressione Valutati

1. Prompt Naive: Una compressione LLM a passaggio singolo che seleziona i fatti "più materiali" entro un budget fisso di punti elenco.
2. Contestualizzazione: Una modifica del prompt che istruisce l'LLM a preservare i dettagli che rendono i fatti interpretabili (ad es. confronti, clausole di esclusione) piuttosto che semplici fatti salienti isolati.
3. Pruning dei Token: Metodi come LLMLingua e LongLLMLingua che eliminano i token a bassa informazione.
4. Integratore: Fusione di riassunti da più modelli senza verifica della fonte.
5. Agentic Context Compression (ACC): Un processo agente a due fasi proposto:
   • Generazione: Vengono generate molteplici compressioni candidate dalla stessa fonte utilizzando modelli diversi.
   • Audit: Un agente esamina i disaccordi tra i candidati rispetto alla fonte originale. Utilizza strumenti per grep e read specifici intervalli della fonte per verificare se un candidato stia sopravvalutando (ad es. facendo apparire le prove più bullish/bearish di quanto non siano nella fonte).
   • Selezione: L'agente seleziona il candidato con il minor rischio di sopravvalutazione (overclaim) e la migliore copertura basata sulla fonte.

2.3 Analisi Diagnostica

Gli autori utilizzano un inventario fattuale offline (ispirato a FActScore e SAFE) per scomporre i testi sorgente in Headline (fatti primari), Context (fattori di calibrazione/clausole) e Boilerplate. Ciò consente di quantificare la decontestualizzazione (la rimozione sproporzionata dei fatti di contesto).

3. Risultati Chiave

3.1 La Perdita di Fedeltà è Significativa

• Inversioni di Decisione: Tutti i baseline di compressione a passaggio singolo superano significativamente il "livello di rumore" del modello decisionale. Per le MD&A dei 10-Q, la compressione naive ha causato un tasso di inversione della decisione del 33,0%, rispetto a un livello di rumore dell'11,0%. Per le call sugli utili, il tasso è stato del 23,9% contro l'8,8%.
• Deriva delle Credenze (Belief Drift): Anche senza un'inversione dell'etichetta, la compressione causa spostamenti significativi nelle distribuzioni di credenza (TVD), indicando una perdita di sfumature.
• Sensibilità al Budget: Aumentare il budget di compressione (più punti elenco) riduce la TVD ma non elimina le inversioni di decisione, suggerendo che aggiungere semplicemente spazio non risolve il problema di quali informazioni vengano selezionate.

3.2 Pattern Diagnostici

• Decontestualizzazione: Sotto la compressione naive, la proporzione di fatti di "contesto" è scesa dal 25% della fonte al 9% dell'output compresso per le MD&A. Ripristinando questi fatti di contesto rimossi in un esperimento di "aggiunta" diagnostica, si è recuperata la decisione originale nel 37% dei casi di inversione, superando significativamente il tasso di recupero dei dati boilerplate o casuali.
• Dipendenza dal Modello: Diversi compressori inducono diversi spostamenti decisionali per lo stesso ticker. Ad esempio, un modello potrebbe spostare un titolo verso il "Bearish", mentre un altro potrebbe spostarlo verso il "Bullish", con punti di alta TVD che variano tra i modelli. Ciò conferma che la distorsione indotta dalla compressione non è casuale ma sistematica e specifica del modello.

3.2 Efficacia della Agentic Context Compression (ACC)

• Performance di ACC: ACC ha ridotto il tasso di inversione della decisione per le MD&A al 20,3% e per le call sugli utili al 18,5%, superando sia la compressione naive che il baseline "Integratore" (che si limita a fondere i riassunti senza audit).
• Caso di Studio Industriale: In un deployment all'interno di un prodotto commerciale di previsione azionaria, ACC ha migliorato l'Information Coefficient (IC) di previsione dell'8,3% rispetto al baseline della fonte originale e del 23,8% rispetto alla compressione naive, riducendo al contempo le inversioni di decisione rispetto alla fonte del 59,5%.

4. Contributi

1. Criterio di Fedeltà dell'Informazione: Il documento introduce una metrica centrata sulla decisione per valutare la compressione del contesto, andando oltre la fattualità per valutare se la decisione implicata dalla fonte venga preservata.
2. Evidenza Empirica della Distorsione: Utilizzando dati finanziari reali, lo studio dimostra che la compressione LLM altera frequentemente i giudizi di investimento, identificando la decontestualizzazione e la dipendenza dal modello come meccanismi primari.
3. Agentic Context Compression (ACC): Gli autori propongono e validano una procedura basata sulla fonte che genera molteplici candidati e li sottopone a audit rispetto alla fonte originale per mitigare le inversioni di decisione.

5. Significato e Rivendicazioni

Il documento sostiene che, nel decision-making finanziario, preservare fatti isolati è insufficiente. Il valore di un riassunto risiede nella sua capacità di mantenere i qualificatori contestuali (clausole, confronti, inquadramento) necessari per interpretare correttamente tali fatti.

Gli autori affermano che:

• La compressione deve essere valutata non solo per l'efficienza o la fattualità superficiale, ma per la sua capacità di preservare il contesto rilevante per la decisione.
• La distorsione della decisione è un fallimento sistematico che può essere mitigato auditando molteplici viste compresse rispetto alla fonte, piuttosto che affidarsi al riassunto di un singolo modello.
• Nei sistemi in produzione, mantenere la fedeltà dell'informazione è critico per mantenere i segnali di previsione a valle, poiché la compressione naive può degradare le prestazioni del modello anche quando il riassunto appare fluido e plausibile.

6. Limitazioni

Gli autori osservano che le loro scoperte sono specifiche per le comunicazioni finanziarie delle società S&P 100 e potrebbero non generalizzarsi ad altri domini. La fedeltà è misurata tramite un modello decisionale piuttosto che tramite analisti umani o risultati di mercato realizzati. Inoltre, l'ACC riduce ma non elimina la perdita di fedeltà, specialmente se tutti i candidati compressori omettono la stessa informazione critica.