User-driven development and evaluation of an agentic framework for analysis of large pathway diagrams

Questo articolo descrive lo sviluppo guidato dagli utenti di Llemy, un sistema basato su modelli linguistici di grandi dimensioni progettato per facilitare l'esplorazione e l'analisi di complessi diagrammi di interazioni molecolari attraverso un processo iterativo di prototipazione e test con esperti del settore.

L'essenziale

🧬 Il Problema: La Biblioteca del Corpo Uano è Troppo Grande

Immagina di dover studiare il funzionamento del corpo umano. Non è come leggere un libro di storia; è come avere accesso a milioni di biblioteche piene di mappe intricate. Queste mappe mostrano come le cellule, i geni e le proteine parlano tra loro per farci vivere (o per farci ammalare).

Il problema? Queste mappe sono enormi, complicate e scritte in una lingua che solo gli esperti capiscono. Per un principiante, o anche per un ricercatore stanco, cercare un'informazione specifica in mezzo a milioni di linee e collegamenti è come cercare un ago in un pagliaio, ma il pagliaio è fatto di fili elettrici che si muovono da soli.

🤖 La Soluzione: "Llemy", il Turista Digitale con la Mappa

Gli autori di questo articolo hanno creato un assistente intelligente chiamato Llemy.
Pensa a Llemy come a un turista digitale super-esperto che ha in mano tutte queste mappe biologiche. Tu gli fai una domanda (ad esempio: "Cosa succede al fegato se mangio troppi grassi?"), e lui:

1. Guarda la mappa corretta.
2. Usa un'intelligenza artificiale (un "cervello digitale") per leggere e capire cosa c'è scritto.
3. Ti risponde in parole semplici, indicandoti esattamente dove guardare sulla mappa.

🛠️ Come l'hanno Costruito? (Il Metodo "Fai-da-te")

Invece di sedersi in una stanza chiusa e progettare il sistema da soli, gli scienziati hanno fatto qualcosa di diverso: hanno coinvolto gli utenti fin dall'inizio.

Immagina un hackathon (una maratona di programmazione) come una grande festa di cucina.

• Gli Chef (gli esperti): Hanno detto: "Ehi, ci serve un coltello che tagli anche le verdure più dure!"
• I Cuochi (gli sviluppatori): Hanno subito iniziato a costruire un prototipo.
• I Commensali (gli utenti): Hanno assaggiato il piatto, detto "È troppo salato" o "Manca il sale", e hanno chiesto modifiche.

Hanno fatto questo processo in più fasi: prima un prototipo grezzo, poi versioni migliori, sempre chiedendo agli esperti: "Vi è utile? Vi fa risparmiare tempo?".

📊 Cosa hanno Scoperto? (I Risultati)

Hanno fatto provare Llemy a 25 persone (ricercatori, curatori di mappe e utenti comuni) e hanno raccolto i loro feedback. Ecco cosa è emerso, usando delle metafore:

1. La Velocità è Re: Se Llemy impiega troppo tempo a rispondere, gli utenti pensano che la risposta sia meno buona. È come aspettare un pacco: se arriva subito, lo apri felice; se ci mette giorni, inizi a dubitare che ci sia dentro qualcosa di utile.
2. Il "Riassunto" funziona meglio della "Caccia al Tesoro":
   • Quando gli utenti chiedevano: "Riassumimi questa mappa", Llemy era bravissimo (punteggio alto).
   • Quando chiedevano: "Trovami esattamente questo piccolo dettaglio specifico", Llemy faceva più fatica e commetteva più errori. È come se fosse bravo a raccontare la trama di un film, ma a volte si confonde se gli chiedi il nome esatto di un comparsa che appare per 2 secondi.
3. L'Allucinazione (Il problema delle "Bugie"): A volte, l'intelligenza artificiale inventa dettagli o non trova le cose che invece ci sono. È come se il tuo turista digitale indicasse un museo che non esiste. Gli utenti si sono lamentati quando i collegamenti alle fonti (i "punti di riferimento" sulla mappa) erano rotti o sbagliati.
4. La Variabilità: Se fai la stessa domanda due volte, a volte la risposta cambia leggermente. È come se il turista ti indicasse la strada con un dito oggi e con la mano domani: la direzione è giusta, ma la confusione aumenta.

🔮 Il Futuro: Verso una Mappa Aperta a Tutti

Gli autori concludono che Llemy è un ottimo punto di partenza, ma deve migliorare.

• Deve essere più veloce.
• Deve essere più preciso nel trovare i dettagli piccoli.
• Deve usare modelli "aperti": Attualmente usano un'intelligenza artificiale commerciale (che costa e non è trasparente). Vorrebbero passare a modelli "open-source" (come Wikipedia dell'IA), che chiunque può controllare e migliorare, per garantire che la scienza rimanga aperta a tutti.

💡 In Sintesi

Questo articolo non è solo una storia su un software. È la storia di come costruire un ponte tra la complessità della scienza e le persone. Hanno dimostrato che per creare strumenti utili, non basta essere bravi programmatori; bisogna ascoltare chi userà lo strumento, testarlo, sbagliare, correggere e riprovare.

Llemy è il primo passo per trasformare quelle mappe biologiche impossibili da leggere in conversazioni semplici, come se parlassi con un esperto che ti guida per mano.

Sommario tecnico

Titolo del Lavoro

Sviluppo e valutazione guidata dall'utente di un framework agentic per l'analisi di grandi diagrammi di pathway

1. Il Problema

L'ecosistema delle conoscenze biomediche sta crescendo in modo esponenziale in termini di dimensioni e complessità. Le risorse che immagazzinano queste informazioni, come le mappe di interazione molecolare (rappresentazioni grafiche di processi cellulari e molecolari in condizioni normali o patologiche), diventano sempre più difficili da navigare, specialmente per gli utenti meno esperti.

• Sfide principali: La frammentazione delle risorse (diversi formati, interfacce e granularità), il volume enorme di dati e la difficoltà nel navigare le relazioni tra i componenti individuali.
• Limitazione attuale: Sebbene esistano piattaforme come MINERVA per visualizzare queste mappe (basate su standard SBGN e SBML), manca una soluzione dedicata che utilizzi l'Intelligenza Artificiale per facilitare l'accesso, l'interpretazione e l'analisi di queste mappe interattive complesse tramite interfacce conversazionali.

2. Metodologia

Il paper descrive lo sviluppo di Llemy, un sistema basato su Large Language Models (LLM) e framework agentic, creato attraverso un processo strettamente guidato dall'utente.

• Approccio di Sviluppo:
  • Hackathon: Il prototipo è stato sviluppato durante un hackathon di due giorni con esperti di dominio (epatotossicologi, curatori di mappe, biologi computazionali ed esperti di LLM).
  • Iterazione: I requisiti e l'architettura sono stati definiti basandosi su prompt reali forniti dagli esperti, inclusi query con premesse false per testare la robustezza del sistema.
• Architettura del Sistema (Llemy):
  • Tecnologia: Costruito in Python, utilizza Streamlit per il frontend e LangChain per il backend agentic.
  • Flusso di Lavoro:
    1. Agente di Recupero: Recupera i dati dalla mappa selezionata dall'utente tramite l'API della piattaforma MINERVA (nodi, reazioni, annotazioni).
    2. Agente di Sintesi: Combina il prompt dell'utente (arricchito con istruzioni per il focus scientifico e le citazioni) con i dati recuperati dalla mappa.
    3. LLM: Utilizza modelli commerciali (inizialmente GPT-4.1) per generare la risposta, che include riferimenti cliccabili agli elementi specifici della mappa.
  • Sicurezza: Le chiavi API sono gestite solo per la durata della sessione utente.
• Studio di Valutazione:
  • Partecipanti: 25 utenti (ricercatori, curatori e sviluppatori di mappe) reclutati tramite la comunità "Disease Maps".
  • Dati Raccolti:
    • Dataset Prompt: 157 interazioni (prompt, risposta, tempo di risposta, valutazione).
    • Dataset Riepilogo: Questionario finale su usabilità e percezione generale.
  • Metriche di Valutazione: Accuratezza, Concisione e Affidabilità (scala 1-5), analizzate statisticamente in R (modelli lineari misti a link cumulativo).

3. Contributi Chiave

• Sviluppo Guidato dall'Utente: Dimostrazione di un processo in cui gli esperti di dominio partecipano attivamente alla progettazione, prototipazione e valutazione di un tool AI, garantendo che le funzionalità rispondano a bisogni reali.
• Framework Agentic per Mappe Biologiche: Implementazione di un sistema che non si limita a generare testo, ma recupera dati strutturati da fonti esterne (MINERVA) per fornire risposte contestualizzate e verificabili.
• Tracciabilità e Audit: Il sistema genera risposte che includono link diretti agli elementi della mappa sorgente, permettendo agli utenti di verificare l'origine delle informazioni (trasparenza).
• Classificazione dei Task: Identificazione di tre categorie principali di utilizzo: Sintetizzare (riassunti), Trovare (recupero di elementi specifici) e Analizzare (ragionamento su perturbazioni o connessioni).

4. Risultati

• Performance Percepita:
  • Le valutazioni mediane sono state: Accuratezza (4/5), Concisione (3/5), Affidabilità (4/5).
  • Tempo di Risposta: Un tempo di risposta più lungo ha un impatto negativo significativo sulla percezione della qualità (accuratezza, concisione e affidabilità).
  • Concisione: È stata valutata significativamente più bassa rispetto all'accuratezza, suggerendo che le risposte tendono a essere troppo lunghe o ridondanti.
• Analisi per Categoria di Task:
  • Il task di "Sintetizzare" ha ottenuto i punteggi più alti.
  • Il task di "Trovare" ha mostrato una distribuzione più ampia e punteggi più bassi, indicando difficoltà nel recuperare elementi specifici o nel gestire il contesto della mappa quando il contenuto è incluso nel prompt.
• Feedback Qualitativo:
  • Punti di forza: Capacità di fornire riassunti completi e riconoscere i limiti quando un'entità non è presente nella mappa.
  • Punti di debolezza: Errori fattuali, mancato recupero di contenuti esistenti, riferimenti bibliografici non corrispondenti o link interrotti. Problemi ricorrenti nella gestione di sinonimi e nomenclature (es. nomi HGNC vs abbreviazioni comuni).
  • Variabilità: Gli utenti hanno notato un'alta variabilità nelle risposte per prompt simili (problema noto degli LLM), con la maggior parte degli utenti che ha segnalato una variabilità di almeno 3 punti su una scala di 5.
• Usabilità: Il sistema è stato giudicato altamente accessibile e facile da usare (oltre l'80% ha dato un punteggio di 4 o 5), sebbene l'utilità percepita sia stata più moderata tra gli utenti meno esperti con i contenuti delle mappe.

5. Significato e Prospettive Future

• Riduzione della Barriera di Complessità: Llemy dimostra il potenziale degli LLM per rendere accessibili le mappe di interazione molecolare complesse, agendo come un punto di ingresso per la sintesi della conoscenza.
• Sostenibilità e Open Source: Il paper evidenzia la necessità di passare da modelli commerciali a LLM open-weight per garantire la sostenibilità, la riproducibilità e l'adattabilità in un ambiente di ricerca aperto. Tuttavia, ciò richiede infrastrutture dedicate e benchmark specifici.
• Roadmap Futura:
  • Miglioramento dei tempi di risposta e dell'accuratezza dei riferimenti.
  • Implementazione di flussi di lavoro dedicati per sintesi, query e analisi.
  • Integrazione programmatica con l'interfaccia grafica di MINERVA tramite plugin e protocolli come MCP (Model Context Protocol).
  • Sviluppo di sistemi di valutazione aperti e benchmark specifici per compiti interattivi di esplorazione di mappe.
• Impatto sulla Comunità: Lo studio sottolinea l'importanza di coinvolgere continuamente la comunità degli utenti (curatori, sviluppatori, ricercatori) per affinare gli strumenti AI, specialmente in un panorama tecnologico in rapida evoluzione.

In conclusione, il lavoro presenta un caso d'uso promettente per l'interazione AI con database biologici, validando un approccio di sviluppo iterativo e guidato dall'utente come metodo essenziale per creare strumenti scientifici robusti e utili.