Designing a Robust LLM-Based Evaluation System for Agentic AI in Drug Discovery Through Human Alignment
Questo articolo presenta un framework di valutazione LLM-as-a-Judge allineato all'uomo per il sistema di scoperta di farmaci agentico ChatInvent, che definisce dimensioni di qualità specifiche, valida e ottimizza un modello giudice attraverso l'annotazione di esperti per raggiungere un alto allineamento, e rivela che la formulazione informale non ostacola le prestazioni.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo ad alta posta in gioco della scoperta di nuovi farmaci, gli scienziati trascorrono anni a progettare molecole, a costruirle in laboratorio e a testarle per vedere se possono curare le malattie. Questo processo è lento, costoso e pieno di decisioni complesse. Recentemente, un nuovo tipo di intelligenza artificiale è entrato in scena: sistemi che non si limitano a rispondere a domande, ma compiono azioni. Questi sono chiamati sistemi agentici. A differenza di una chatbot standard che genera semplicemente testo, un agente può pianificare un esperimento multi-fase, ricorrere a software specializzati per calcolare proprietà chimiche e recuperare dati da vasti database scientifici. Agisce più come un assistente di ricerca digitale capace di svolgere effettivamente il lavoro, non solo di parlarne. Tuttavia, man mano che questi assistenti digitali diventano più capaci, emerge un problema critico: come facciamo a sapere se stanno facendo un buon lavoro? I modi tradizionali per valutare le risposte dei computer, che spesso si basano sul confronto tra parole e una risposta corretta, falliscono quando il compito è aperto e creativo. Inoltre, chiedere agli esperti umani di valutare ogni singola produzione è troppo lento per tenere il passo con la velocità di queste nuove macchine. La comunità scientifica aveva bisogno di un modo per valutare questi agenti che fosse al contempo veloce e affidabile.
Un team di ricercatori di AstraZeneca e dell'Università di Göteborg ha affrontato questa sfida costruendo un sistema in cui un'intelligenza artificiale agisce da giudice per un'altra. Si sono concentrati su uno strumento specifico chiamato ChatInvent, un assistente agentico progettato per aiutare gli scienziati a navigare nelle fasi dello sviluppo dei farmaci. I ricercatori sapevano che lasciare semplicemente che un'IA valutasse se stessa era rischioso, poiché questi modelli possono essere influenzati da pregiudizi o essere incoerenti. Per risolvere questo problema, hanno progettato un rigoroso quadro di test per garantire che l'IA "giudice" concordasse con gli esperti umani. Hanno definito quattro qualità specifiche che una buona risposta dovrebbe avere: se la risposta fosse completa, se le informazioni fossero pertinenti alla domanda, quanto il testo fosse chiaro e ben organizzato, e se l'agente fosse rimasto nel proprio ruolo assegnato senza tentare di fare cose che non doveva fare. Hanno anche incluso un controllo rigoroso per verificare se l'agente utilizzasse gli strumenti informatici corretti per portare a termine il compito.
Per trovare il miglior giudice, il team ha testato quattro diversi modelli di IA potenti, incluse opzioni di grandi aziende tecnologiche e progetti open-source. Hanno chiesto a cinque esperti umani in chimica e intelligenza artificiale di valutare un insieme di 35 domande e risposte. A questi esperti sono state date le stesse istruzioni e informazioni fornite ai giudici IA. I ricercatori hanno poi confrontato i punteggi assegnati dagli umani rispetto ai punteggi forniti da ciascun modello di IA. Hanno scoperto che, sebbene gli esperti umani non sempre concordassero perfettamente tra loro, i modelli di IA erano sorprendentemente coerenti. Un modello, in particolare, si allineava molto da vicino all'opinione della maggioranza umana. I ricercatori hanno poi utilizzato un piccolo set di esempi, annotati dagli esperti umani, per perfezionare questo modello di IA con le migliori prestazioni. Questo processo, noto come ottimizzazione, ha migliorato la capacità del giudice di corrispondere al pensiero umano, portando il suo punteggio di accordo dall'80% all'86%.
Con un giudice affidabile in funzione, il team ha valutato 70 nuove domande che il sistema ChatInvent non aveva mai visto prima. I risultati hanno rivelato sia i punti di forza che le debolezze delle prestazioni dell'agente. Il sistema era eccellente nel rimanere in tema, nell'organizzare le risposte in modo chiaro e nell'utilizzare gli strumenti corretti per raccogliere informazioni. Tuttavia, faticava con la completezza. In quasi il 40% dei casi, l'agente forniva una risposta parziale, dimenticando spesso di includere dettagli specifici come dove trovare un file generato o una proprietà chimica richiesta. I ricercatori hanno scoperto che questo non era dovuto a un malinteso dell'agente rispetto alla domanda, ma al fatto che a volte non riusciva a eseguire un passaggio finale nel suo flusso di lavoro. Interessantemente, il modo in cui la domanda veniva posta faceva la differenza. Il team ha testato domande che spaziavano dal linguaggio molto formale a quello molto colloquiale. Hanno scoperto che una formulazione eccessivamente formale non aiutava l'agente a performare meglio; anzi, una formulazione leggermente più informale o neutra portava talvolta a risultati migliori. Ciò suggerisce che l'agente potrebbe beneficiare di un proprio sistema interno che riscriva il prompt rigido o complesso dell'utente in una versione più chiara prima di iniziare a lavorare.
Lo studio conclude che, sebbene questi sistemi agentici offrano grandi promesse per accelerare la scoperta di farmaci, non sono ancora perfetti. I ricercatori hanno dimostrato che è possibile costruire un sistema di valutazione robusto e automatizzato che rispecchi il giudizio umano, a condizione che il giudice sia attentamente allineato con le opinioni degli esperti. Questo approccio consente agli sviluppatori di identificare rapidamente i punti in cui i loro agenti stanno fallendo — come la mancanza di percorsi di file o dati incompleti — senza dover assumere un team di valutatori umani per ogni test. Il lavoro funge da modello per il futuro, mostrando che affinché l'intelligenza artificiale sia veramente utile nella scienza, dobbiamo prima insegnarle come valutare il proprio lavoro con la stessa cura e precisione che un esperto umano utilizzerebbe.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.