Riepilogo Tecnico: Iniettare o Navigare? Recupero Efficiente per l'Analisi di Documenti Legali Transazionali tramite LLM

Definizione del Problema

Il documento affronta la sfida di rispondere a domande su un corpus di documenti legali transazionali (ad es., accordi, emendamenti, lettere laterali, allegati). L'approccio di base, denominato inject (iniezione), consiste nel collocare l'intero corpus nella finestra di contesto del Large Language Model (LLM) per ogni query. Sebbene ciò massimizzi il richiamo del recupero (recall) garantendo che nessuna informazione venga persa, soffre di due criticità fondamentali man mano che il corpus cresce:

1. Impronta di Token: Il costo scala con la dimensione del corpus piuttosto che con la domanda, rendendolo inefficiente per set di documenti estesi.
2. Degradazione del Contesto Lungo: Gli LLM mostrano un'attenzione non uniforme attraverso input lunghi, perdendo spesso informazioni posizionate al centro della finestra di contesto.
3. Limiti della Finestra di Contesto: Le questioni legali spesso superano la finestra di contesto massima degli attuali modelli, rendendo impossibile l'iniezione completa.

I benchmark esistenti (ad es., CUAD, ContractNLI) operano tipicamente su singoli documenti e non riescono a catturare le dipendenze cross-strumentali (ad es., termini definiti, riferimenti incrociati, emendamenti) intrinseche nell'analisi legale transazionale.

Metodologia

Gli autori hanno valutato due strategie di recupero strutturato rispetto alla baseline inject utilizzando un metodo di chunking consapevole della struttura, sviluppato da Syntheia. La valutazione è stata condotta su un benchmark di 20 domande (18 legate ai documenti con verità fondamentale verificata, 2 di controllo fuori ambito) su sei documenti legali.

Protocollo di Valutazione

• Giudice: Un giudice a coppie, ancorato a un riferimento e con controllo del bias di posizione (utilizzando claude-opus-4-7), ha confrontato le risposte della baseline e del metodo di recupero. Un "pareggio" veniva assegnato solo se entrambi i sensi di confronto concordavano, certificando che entrambe le risposte fossero ugualmente coerenti con la verità fondamentale (ground truth).
• Metriche: Lo studio ha monitorato la impronta di token (totale dei token a cui il modello presta attenzione, inclusi i token nel contesto in cache) e il costo in dollari (spesa operativa, considerando gli sconti per il caching del contesto). Questi sono stati trattati come metriche separate poiché il caching riduce il costo senza ridurre il numero di token che il modello deve elaborare.

Le Tre Modalità

1. Inject (Baseline): L'intero corpus è inserito nella finestra di contesto per ogni query.
2. Navigate-Embeddings (navembed): I documenti sono pre-incorporati (embedded) in un albero di nodi. Al momento della query, i top-$k$ nodi più simili vengono recuperati tramite similarità del coseno (con optional reranking tramite cross-encoder) e inseriti nel contesto.
3. Navigate-Index (navindex): Un approccio privo di vettori in cui un LLM naviga un indice compatto e strutturato. L'indice contiene:
   • Flag semantici booleani: (ad es., isDefinition, hasMoney, hasLiabilityLimit).
   • Metadati strutturali: Intestazioni, riferimenti a clausole e grafi espliciti di riferimenti incrociati/termini definiti.
   • Processo di Navigazione: L'LLM scansiona l'indice (S1) per selezionare fino a 10 ID di nodi basandosi su filtri booleani e riassunti, quindi recupera deterministicamente il testo letterale di tali nodi (S2) per generare la risposta (S3).

Risultati Chiave

Inject vs. navembed

• Performance: La configurazione più forte (Recupero semantico + reranking, RUN-012) è stata giudicata in pareggio con inject su 16 delle 18 domande legate ai documenti (inject preferito in 2 casi).
• Efficienza: Questa configurazione ha ridotto l'impronta di token di input di 17,3× (188K token vs. 3,26M token).
• Costo: Ha ottenuto un costo in dollari inferiore rispetto a inject in tutte le esecuzioni validate.
• Modalità di Fallimento: Una configurazione ibrida BM25 (RUN-011) ha sofferto di un "bias di lunghezza", gonfiando il payload e non riuscendo a ridurre efficacemente i costi.

Inject vs. navindex

• Performance: La configurazione ottimizzata per i token (Config 6) è stata giudicata in pareggio con inject su tutte le 18 domande legate ai documenti e su entrambi i controlli fuori ambito. Questo rappresenta il più alto tasso di pareggio in una singola esecuzione dello studio.
• Efficienza:
  • Impronta di Token: Ha ridotto i token di input totali di 1,61×.
  • Contesto di Risposta: Ha ridotto il contesto a cui il modello presta attenzione durante la generazione della risposta di circa 56× (2,9K token vs. 163K token).
  • Costo: Ha registrato un costo in dollari inferiore del 25% ($1,21 vs. $1,61) rispetto a inject.
• Meccanismo: Il successo di navindex è attribuito alla sua codifica esplicita di segnali strutturali (riferimenti incrociati e termini definiti) che la sola similarità del coseno non può catturare, permettendo al modello di recuperare il contesto esatto necessario senza fare affidamento solo sulla prossimità semantica.

Analisi dei Costi: La Regola del Crossover del Caching

Il documento deriva una regola in forma chiusa per determinare quando l'iniezione con cache (cached inject) è più economica in dollari rispetto al recupero:
$$C < 10 \times R$$
Dove $C$ è la dimensione del corpus e $R$ è il payload di recupero.

• Implicazione: L'iniezione con cache è più economica solo se il corpus è circa 10 volte più piccolo del payload di recupero.
• Realtà: Per il corpus da 163K token testato, sia navembed che navindex erano più economici di l'iniezione con cache allo stato stazionario. Tuttavia, per corpora molto piccoli (<35K token), l'iniezione rimane l'opzione più economica.
• Cautela: Ciò assume una sessione "calda" dove la cache è valida (TTL di 5 minuti). Nei flussi di lavoro asincroni, il costo di scrittura della cache può essere incorso ripetutamente, erodendo il vantaggio dell'iniezione.

Contributi Chiave

1. Valutazione Accoppiata: Una rigorosa valutazione, con controllo del bias di posizione, dell'iniezione dell'intero corpus contro il recupero strutturato su un set di QA legale con verità fondamentale verificata.
2. Design di navindex: La progettazione di un descrittore di navigazione per strumenti legali che codifica flag booleani tipizzati, grafi di riferimenti incrociati e risoluzione dei termini definiti, operazionalizzati tramite prompt specifici.
3. Regola del Crossover del Caching: Una regola economica in forma chiusa che separa l'impronta di token dal costo in dollari, evidenziando che la riduzione dei token è un beneficio strutturale mentre il risparmio economico è dipendente dalla sessione.
4. Catalogo delle Modalità di Fallimento: Identificazione di specifici modi di fallimento da evitare, come il bias di lunghezza BM25, la sovra-selezione basata solo sui titoli e la selezione di nodi non limitata.

Significato e Rivendicazioni

Il documento sostiene che il recupero strutturato è un'alterna valida e spesso superiore all'iniezione completa del corpus per l'analisi di documenti legali, a condizione che la strategia di recupero rispetti le dipendenze strutturali dei testi legali.

• Preservazione della Qualità: Il recupero strutturato può eguagliare la qualità della risposta dell'iniezione completa (come misurato da un giudice ancorato a un riferimento) pur riducendo drasticamente l'impronta di token e il contesto di risposta.
• Fedeltà Strutturale: L'approccio navindex dimostra che codificare i segnali strutturali legali (riferimenti incrociati, termini definiti) direttamente nell'indice è più efficace del semplice affidarsi alla similarità vettoriale, specialmente per domande che richiedono la riconciliazione di emendamenti e allegati.
• Viabilità Economica: Sebbene l'iniezione con cache sia più economica per corpora molto piccoli o query a sessione singola, il recupero strutturato diventa la scelta economicamente superiore all'aumentare della dimensione del corpus o quando il payload di recupero è significativamente più piccolo del corpus completo.

Gli autori rimangono modesti riguardo alle loro affermazioni, notando che la valutazione è limitata a una singola famiglia di modelli, a un set specifico di 20 domande e non misura direttamente il richiamo del recupero (precision/recall) a causa della mancanza di etichette di nodo con verità fondamentale. Sottolineano che il verdetto di "pareggio" certifica l'equivalenza nella coerenza con la verità fondamentale, non l'assoluta correttezza, e che i risultati sono specifici per il corpus valutato e l'ingegneria dei prompt utilizzata.