Chunking German Legal Code

Riepilogo Tecnico: Chunking del Codice Civile Tedesco

Enunciato del Problema
L'adozione crescente dei Modelli Linguistici di Grande Dimensione (LLM) nei servizi legali rende necessari sistemi robusti di Generazione Aumentata dal Recupero (RAG) per mitigare le allucinazioni. Tuttavia, un recupero efficace è ostacolato dal fenomeno "perso nel mezzo" e dalle limitazioni della finestra di contesto, che richiedono che le informazioni recuperate siano piccole e altamente pertinenti. Una sfida critica nei domini legali, in particolare con il Codice Civile Tedesco (Bürgerliches Gesetzbuch, BGB), è che le strategie di chunking standard spesso spezzano la struttura gerarchica deliberata del testo normativo. Le norme giuridiche sono organizzate in unità specifiche (articoli, paragrafi, frasi) dove condizioni e conseguenze sono strettamente accoppiate. Le finestre fisse tradizionali o le aggregazioni semantiche rischiano di rompere questi confini logici, portando a una perdita di contesto essenziale per una risposta accurata alle domande legali (QA). Inoltre, i metodi avanzati di chunking introducono un sovraccarico computazionale significativo in termini di tempo di costruzione dell'indice, latenza delle query e requisiti di archiviazione.

Metodologia
Gli autori valutano un'ampia gamma di strategie di segmentazione sul corpus BGB, normalizzato in 2.455 sezioni gerarchiche. La valutazione utilizza un dataset di QA legale (gerlayqa-bgb-paraphrased) contenente 525 domande di profani con etichette auree a livello di sezione. Lo studio confronta i seguenti approcci:

1. Baseline di Conservazione Strutturale:
   • Finestre di Dimensione Fissa: Finestre sovrapposte di dimensioni variabili in token (es. da 16/4 a 256/64).
   • Unità Base: Divisione del testo ai confini legali naturali: Articoli (§), Paragrafi (Absätze), Frasi (Sätze) e Proposizioni (enunciati legali autonomi).
2. Strategie Avanzate/Intensive per LLM:
   • Chunking in Stile Lumber: Utilizza un LLM per identificare dinamicamente i confini semantici, creando chunk di lunghezza variabile che possono attraversare più sezioni legali.
   • Chunking Contestuale: Arricchisce le unità base con prefissi contestuali generati da LLM (gerarchia e testo completo della sezione) prima dell'embedding.
   • Clustering Semantico: Raggruppa unità base semanticamente simili utilizzando KMeans, raggruppando gli embedding in singoli vettori di cluster.
   • RAPTOR: Un metodo di recupero gerarchico che raggruppa e riassume ricorsivamente i chunk in una struttura ad albero, instradando le query attraverso nodi di riepilogo fino ai nodi foglia.

Metriche di Valutazione
Lo studio misura quattro dimensioni chiave:

• Recall@10: La capacità di recuperare le 10 sezioni distinte corrette in alto che corrispondono alle etichette auree.
• Latenza della Query: Tempo di ricerca e aggregazione online (escluso l'embedding iniziale).
• Tempo di Costruzione dell'Indice: Costo computazionale offline per costruire l'indice.
• Requisiti di Archiviazione: Impronta di memoria persistente dell'indice e dei metadati.

Risultati Chiave

• Prestazioni di Recupero: Le strategie allineate alla struttura legale intrinseca hanno ottenuto il recall più alto. Il recupero a livello di paragrafo ha ottenuto i migliori risultati (Recall@10 ≈ 0,47), seguito da vicino dal recupero a livello di articolo (≈ 0,46). Il recupero a livello di frase e proposizione ha formato il livello successivo. Al contrario, i metodi che sovrascrivono la struttura legale hanno ottenuto risultati peggiori: il chunking in stile Lumber e a Dimensione Fissa hanno prodotto il recall più basso, con la configurazione a dimensione fissa più grossolana (256/64) che ha ottenuto il risultato peggiore. Il Clustering Semantico e RAPTOR hanno occupato un livello intermedio, generalmente performando peggio delle baseline strutturali.
• Latenza: RAPTOR è stato il metodo più veloce (circa 2,0–2,3 ms) grazie alla potatura gerarchica dello spazio di ricerca. Il Clustering Semantico e Lumber sono stati i più lenti (13–16 ms) a causa dell'estesa consolidazione post-recupero. Tra le baseline piatte, la latenza è scalata come Articolo ≈ Proposizione < Frase < Paragrafo, poiché unità più fini mappano su un numero minore di sezioni genitrici distinte, riducendo il sovraccarico di aggregazione.
• Tempo di Costruzione: Gli indici piatti deterministici (Dimensione Fissa, Articolo) sono stati i più veloci (sotto 1 minuto). RAPTOR e Lumber hanno richiesto tempi significativamente maggiori (3–11 ore) a causa delle chiamate ricorsive all'LLM per il riassunto e il rilevamento dei confini. Anche il chunking contestuale ha sostenuto costi elevati (38–51 minuti) a causa del pre-processing con LLM.
• Archiviazione: Dimensione Fissa (256/64) e Clustering Semantico sono stati i più compatti (circa 15 MB) grazie alla riduzione dei vettori. L'archiviazione è aumentata monotonicamente per le baseline piatte all'aumentare della granularità (Articolo < Paragrafo < Frase < Proposizione). RAPTOR ha richiesto più spazio rispetto alle baseline piatte a causa dell'archiviazione sia dei nodi foglia che dei nodi di riepilogo.

Significato e Affermazioni
Il documento dimostra un compromesso critico tra arricchimento semantico ed efficienza operativa. Gli autori affermano che per testi normativi codificati come il BGB, preservare la struttura specifica del dominio è più efficace che tentare di arricchire semanticamente o riorganizzare il testo tramite metodi complessi guidati da LLM.

• Integrità Strutturale: I confini deliberati tracciati dal legislatore (articoli e paragrafi) raggruppano naturalmente condizioni e conseguenze. Il recupero a questa granularità è allineato sia all'intento del legislatore che alle etichette auree di valutazione, mentre i metodi che raggruppano disposizioni basandosi sulla similarità tematica (Clustering Semantico) o sulla coerenza prevista (Lumber) tendono a offuscare distinzioni legali specifiche, riducendo il recall.
• Efficienza vs. Complessità: Metodi più semplici e che preservano la struttura offrono una precisione di recupero superiore o comparabile con costi computazionali significativamente inferiori (tempo di costruzione, latenza e archiviazione) rispetto alle tecniche intensive per LLM come RAPTOR e Lumber.
• Limitazioni: Lo studio riconosce che i risultati sono specifici per il BGB e le query di profani. Non affronta la risoluzione dei riferimenti incrociati (collegamenti espliciti o impliciti tra articoli), che rimane una potenziale via per futuri miglioramenti. La valutazione si concentra sulla correttezza del recupero piuttosto che sulle prestazioni generative a valle.

In conclusione, gli autori sostengono che per il recupero di informazioni legali su statuti strutturati, l'approccio "più semplice" — rispettare la gerarchia nativa del codice — è spesso il più robusto ed efficiente, sfidando l'assunzione che una segmentazione semantica più complessa sia sempre superiore.