Verifiable Knowledge Expansion through Retrieval-Grounded Formal Concept Analysis

Sintesi Tecnica: Espansione della Conoscenza Verificabile attraverso l'Analisi dei Concetti Formali basata sul Recupero

Problema
La costruzione di ontologie biomediche, come la mappatura di malattie rare verso attributi fenotipici, richiede tradizionalmente una costosa cura manuale da parte di esperti del settore. Sebbene i Large Language Models (LLM) possano proporre strutture di conoscenza dal testo, i loro output spesso mancano di verificabilità, portando a relazioni non supportate o inconsistenti. La sfida tecnica centrale è verificare le strutture di conoscenza proposte prima che diventino impegni permanenti. Nello specifico, il sistema deve essere in grado di porre domande strutturali mirate e incorporare controesempi quando una regolarità proposta (ad esempio, "La malattia X con i sintomi A e B deve avere il sintomo C") fallisce.

Metodologia
Il documento propone un framework ibrido che combina l'Analisi dei Concetti Formali (FCA) come ciclo di verifica simbolica con un sistema di Retrieval-Augmented Generation (RAG) alimentato da Small Language Models (SLM). Il processo opera come un ciclo iterativo di esplorazione ontologica:

1. Inizializzazione: Il sistema parte da un insieme finito e controllato di attributi fenotipici ($M$) e da un sottoinsieme iniziale ($M_0$).
2. Esplorazione degli Attributi tramite FCA: Utilizzando l'attuale contesto formale (oggetti osservati $E_\tau$ e attributi attivi $M_\tau$), il modulo FCA genera implicazioni candidate ($A \rightarrow B$). Un'implicazione suggerisce che qualsiasi malattia che possiede gli attributi nell'insieme $A$ deve possedere anche gli attributi nell'insieme $B$.
3. Oracolo SLM basato su RAG: Per ogni implicazione candidata, il sistema recupera evidenze testuali a livello di malattia rilevanti per la premessa e la conclusione. Un oracolo SLM esegue giudizi binari vincolati e basati sull'evidenza:
   • Accettazione: Se l'evidenza supporta l'implicazione, questa viene aggiunta alla base delle implicazioni.
   • Rifiuto: Se l'evidenza contraddice l'implicazione, l'oracolo deve restituire un oggetto controesempio specifico (una malattia che possiede $A$ ma manca di almeno un attributo in $B$).
   • Giudizio di Incidenza: L'oracolo valida anche coppie specifiche oggetto-attributo (SÌ/NO) sulla base degli snippet recuperati.
4. Aggiornamento del Contesto: Le implicazioni accettate raffinano la base di conoscenza. Le implicazioni rifiutate introducono oggetti controesempio nel contesto osservato, impedendo al sistema di generalizzare eccessivamente.
5. Espansione degli Attributi: Il sistema propone nuovi attributi per il round successivo basandosi sulla chiusura delle implicazioni accettate e sulle evidenze recuperate, espandendo gradualmente l'insieme di attributi attivi $M_\tau$.

Il framework utilizza tre diversi SLM (Gemma2:2B, Llama3.2:3B, Qwen2.5:1.5B) per valutare i compromessi tra costo-efficienza e prestazioni nell'uso di modelli più piccoli per decisioni ripetute e condizionate dall'evidenza.

Contributi Chiave
Il documento presenta tre contributi primari:

1. Ciclo di Verifica basato su FCA: Un meccanismo che testa le strutture oggetto-attributo attraverso implicazioni e controesempi, garantendo che gli impegni strutturali non vengano presi senza evidenza.
2. Oracolo SLM basato sul Recupero: Un'interfaccia a basso costo che ancora i giudizi locali a evidenze esterne recuperabili anziché fare affidamento esclusivamente sulla memoria parametrica.
3. Ibrido Simbolico-Subsimbolico: Un sistema in cui l'FCA controlla la logica di costruzione globale (proponendo query e gestendo il contesto), mentre il modello linguistico gestisce le decisioni locali basate sull'evidenza.

Risultati Sperimentali
Il framework è stato valutato su un dataset di malattie atassiche rare derivate da Orphadata e dalla Human Phenotype Ontology (HPO). Gli esperimenti sono stati eseguiti per 20 round partendo da 10 attributi iniziali, con un set secondario di esperimenti utilizzando 20 semi.

• Metriche di Prestazione:
  • Punteggi di Relazione (F1): Variati tra 0,29 e 0,52 nei run con 10 semi. Llama3.2:3B ha ottenuto il F1 di relazione più alto (0,52), mentre Gemma2:2B ha mostrato il recall più alto (0,87) ma una precisione inferiore.
  • Punteggi di Implicazione (F1): Variati tra 0,22 e 0,30 per i run con 10 semi. Qwen2.5:1.5B ha ottenuto il F1 di implicazione più alto (0,30).
  • Impatto della Dimensione del Seed: Aumentare l'insieme di seed a 20 attributi ha migliorato i punteggi F1 di implicazione per tutti i modelli (ad esempio, Gemma è passato da 0,22 a 0,36; Qwen ha raggiunto 0,41), sebbene ciò non abbia risolto completamente il collo di bottiglia della valutazione degli attributi generati rispetto allo standard di riferimento (gold standard).
• Studi di Ablazione:
  • Solo LLM (Senza Recupero): Rimuovendo il recupero, i contesti esplorati erano più piccoli e terminavano prematuramente. Sebbene questi run mostrassero un alto F1 di implicazione (fino a 0,67), non riuscivano ad espandere efficacemente gli insiemi di oggetti e attributi, evidenziando che il recupero è necessario per la crescita del contesto.
  • Impostazione Oggetto-Attributo Fissa: Anche quando l'insieme di malattie e attributi era fisso (rimuovendo la difficoltà di scoperta), il miglior F1 di relazione ottenuto è stato solo 0,31. Ciò indica che il collo di bottiglia principale non è solo la scoperta di entità, ma il giudicare accuratamente le specifiche incidenze malattia-fenotipo a partire dalle evidenze testuali disponibili.

Significato e Rivendicazioni
Il documento posiziona modestamente il proprio metodo non come un generatore di ontologie completamente automatico, ma come una procedura di costruzione verificabile.

• Ispezionabilità: Il sistema produce una traccia di implicazioni accettate, implicazioni rifiutate, controesempli e correzioni. Ciò consente agli esperti del settore di auditare perché un impegno strutturale è stato preso o rifiutato, invece di accettare una generazione "black box".
• Costruzione Parziale: Gli autori affermano che l'output è un "insieme di implicazioni esplorate" su un contesto accessibile tramite evidenza, non una base canonica per l'intero insieme controllato di attributi fenotipici.
• Limitazioni: Il documento riconosce che i risultati attuali sono limitati dalla scarsità di testi di definizione delle malattie (che potrebbero non dichiarare esplicitamente tutte le relazioni curate) e dalla difficoltà di recupero dell'incidenza a livello di cellula. Il framework è presentato come un "artefatto di pre-curatela auditabile" che richiede la revisione di un esperto prima di diventare un'ontologia clinica.

In sint'। il lavoro dimostra che combinare la rigorosa logica strutturale dell'FCA con gli SLM basati su RAG crea un ciclo scalabile e ispezionabile per l'espansione della conoscenza biomedica, a patto che si riconoscano i limiti del recupero delle evidenze e la necessità di supervisione esperta.