Riepilogo Tecnico: ENTLORE – Un Benchmark Basato su Grafi per il Ragionamento Organizzativo Latente

Definizione del Problema

Il Question Answering (QA) aziendale è tradizionalmente inquadrato come un compito di recupero in cui i sistemi identificano documenti interni per generare risposte fondate. Tuttavia, i registri aziendali di routine sono spesso prodotti di lavoro piuttosto che descrizioni autocontenute progettate per interrogazioni future. Di conseguenza, molte relazioni organizzative critiche — come gli ambiti di progetto, le corrispondenze di alias o le responsabilità dei flussi di lavoro — rimangono implicite attraverso fonti eterogenee.

I benchmark esistenti (ad es., TechQA, EKRAG, MultiDoc2Dial) hanno migliorato l'valutazione multi-fonte, ma tipicamente materializzano l'evidenza lungo un percorso di ragionamento predefinito. In queste configurazioni, ogni passaggio richiesto è esplicitamente dichiarato nel corpus, testando la capacità di un sistema di recuperare e comporre fatti dichiarati piuttosto che di recuperare una relazione target che è assente dal testo. Questo articolo identifica una lacuna nell'attuale valutazione: l'incapacità di valutare il ragionamento organizzativo latente, definito come la capacità di recuperare e ragionare su relazioni organizzative che non sono esplicitamente dichiarate in alcun documento rilasciato, ma che sono derivabili dalla sottostante struttura organizzativa.

Metodologia: Il Framework ENTLORE

Gli autori introducono ENTLORE, un framework di costruzione di benchmark basato su grafi, progettato per valutare questa capacità di ragionamento latente senza esporre la verità fondamentale ai sistemi valutati. Il framework opera in quattro fasi:

1. Ricostruzione del Grafo della Verità Auditato ($G_{truth}$):

   • Il sistema ricostruisce un grafo grezzo ($G_{raw}$) da documenti di routine, tabelle organizzative autorevoli e tracce operative.
   • Viene applicata una versione di una libreria di convenzioni organizzative (regole di inferenza private e tipizzate) per certificare le relazioni derivate. Ad esempio, una regola potrebbe inferire che una persona lavora su un progetto se lavora su un modulo contenuto in quel progetto.
   • Il grafo della verità risultante separa i fatti nativi, i metadati, le associazioni euristiche e le relazioni derivate certificate.

2. Proiezione del Corpus Preservando la Privacy:

   • Una mappa di anonimizzazione condivisa ($\phi$) proietta il mondo privato in un corpus di documenti rilasciato ($D_{release}$).
   • Questo processo rinomina costantemente le entità e sposta le date, preservando però l'organizzazione relativa, il genere e la densità informativa.
   • Fondamentalmente, $D_{release}$ non contiene dichiarazioni esplicite delle relazioni target. I registri organizzativi privati, le regole di certificazione e il grafo della verità rimangono nascosti ai sistemi valutati.

3. Costruzione delle Domande e Decomposizione delle Capacità:

   • Le domande sono generate tramite operatori di grafo tipizzati che campionano da $G_{truth}$, eseguono query e registrano le dipendenze di prova.
   • Il benchmark categorizza 907 domande in tre livelli di difficoltà basati sulla disponibilità di evidenza:
     • L1 (Lookup Dichiarato): La risposta è esplicitamente dichiarata in un singolo documento rilasciato.
     • L2 (Composizione Dichiarata): La risposta richiede la composizione di fatti esplicitamente dichiarati in molteplici fonti rilasciate.
     • L3 (Ragionamento Organizzativo Latente): La relazione target non appare in alcun documento rilasciato. Esiste solo in $G_{truth}$ e deve essere recuperata inferendo strutture organizzative implicite da osservazioni distribuite.

4. Verifica:

   • Ogni domanda è verificata per garantire che il programma del grafo restituisca una risposta unica e completa con derivazioni certificate.
   • Per gli elementi L3, una scansione dell'intero rilascio conferma che la relazione target è assente da tutti gli alias delle entità rilasciate.

Contributi Chiave

1. Formulazione del Ragionamento Organizzativo Latente: Il documento definisce una nuova capacità in cui i sistemi devono combinare fatti fondati eterogenei per recuperare relazioni organizzative specifiche che non sono esplicitamente dichiarate.
2. Costruzione del Grafo della Verità Auditato: Un framework per costruire un benchmark partendo da reali documenti aziendali e tabelle autorevoli, separando i fatti nativi dalle relazioni derivate certificate.
3. Il Benchmark ENTLORE: Un dataset contenente 2.341 documenti e 907 domande (469 L1, 204 L2, 234 L3) valutate attraverso 56 configurazioni di modelli e di accesso.
4. Valutazione dei Paradigmi di Accesso: Una matrice completa che confronta l'approccio closed-book, il recupero lessicale (BM25), il recupero denso piatto (RAG), le pipeline agentiche e gli approcci basati su grafi (GraphRAG, LLM Wiki) contro la sfida del ragionamento latente.

Risultati Sperimentali

La valutazione copre otto modelli (inclusi GPT-5.4, Claude-Sonnet, Qwen, DeepSeek) e sette condizioni di accesso.

• Performance su Evidenza Dichiarata (L1/L2): I sistemi si comportano ragionevolmente bene nel lookup esplicito e nella composizione. GraphRAG, BM25 e un LLM Wiki compilato formano il livello superiore, con accuratezze che variano tra circa il 50% e il 63%. Il RAG piatto e il recupero agentico sono generalmente meno performanti di questi baseline strutturati o lessicali.
• Performance sul Ragionamento Latente (L3): Le prestazioni calano significativamente in tutte le configurazioni.
  • GraphRAG raggiunge la più alta accuratezza media L3 al 36,2%, seguito da BM25 (34,0%) e l'LLM Wiki (27,7%).
  • Il RAG piatto (18,9%) e il recupero agentico (13,5%) performano scarsamente, suggerendo che l'interazione iterativa senza induzione strutturale non aiuta a recuperare relazioni latenti.
  • Il divario di prestazione è altamente eterogeneo; GraphRag supera significativamente BM25 nei compiti di "Attribuzione di dipartimento", ma mostra un vantaggio minore nella "Attribuzione di contenimento".
• Il Residuo del Documento Gold: Anche quando ai sistemi vengono forniti i documenti "gold" esatti contenenti tutta l'evidenza necessaria (tramite un agente Oracle, $\Omega$), il 30,4% delle domande L3 rimane senza risposta. Questo è rispetto al 12,6% per L1 e al 6,2% per L2. Questo residuo indica che il fallimento non è dovuto meramente al recupero dei documenti (recall), ma deriva dall'incapacità di eseguire la necessaria derivazione organizzativa anche quando le premesse sono presenti.
• Fedeltà del Rilascio: Un'analisi di 176 elementi accoppiati tra il mondo privato e quello rilasciato mostra che, sebbene il ranking grossolano delle configurazioni oracle sia preservato, l'ordinamento fine dei sistemi distribuibili cambia (Spearman's $\rho = 0,71$, $p=0,06$). Gli autori concludono che il rilascio è valido per confronti a livello di gruppo, ma incerto per un ordinamento fine, specialmente per i metodi lessicali sensibili all'anonimizzazione.

Significato e Rivendicazioni

Il documento sostiene che l'Enterprise QA dipende non solo dal recupero dei documenti, ma criticamente dal fatto che le relazioni organizzative implicite diventino utilizzabili.

• Oltre il Recupero: I risultati dimostano che fornire i documenti gold non risolve il problema del ragionamento latente. La "sfida della relazione latente" persiste anche quando gli errori di recupero vengono eliminati.
• La Struttura come Oggetto di Prima Classe: I risultati suggeriscono che i sistemi di Enterprise QA devono trattare l'organizzazione dietro i documenti come un oggetto di inferenza di prima classe, recuperando relazioni tipizzate attraverso le fonti e preservando la provenienza attraverso un ragionamento multi-step.
• Utilità del Benchmark: ENTLORE fornisce un banco di prova per misurare i progressi nel ragionamento organizzativo senza ridurre il compito al semplice recupero documentale. Mantenendo la verità del benchmark privata ma le sue premesse auditabili, esso permette di valutare sistemi capaci di ragionare su strutture implicite.

Gli autori rimangono modesti riguardo alla fedeltà del rilascio, osservando che, sebbene il benchmark preservi il comportamento comparativo per gruppi ampi, l'ordinamento specifico dei sistemi distribuibili può variare a causa della sensibilità del recupero lessicale alle superfici di testo anonimizzate. Essi sottolineano che il benchmark è un passo verso la valutazione di sistemi capaci di gestire la natura di "prodotto di lavoro" dei dati aziendali reali.