Dual-Agent Framework for Cross-Model Verified Translation of Natural-Language Protocols into Robotic Laboratory Platform

Sintesi Tecnica: Framework a Doppio Agente per la Traduzione Verificata Cross-Modello di Protocolli in Linguaggio Naturale in Piattaforme di Laboratorio Robotizzate

1. Definizione del Problema

I protocolli di esperimenti biologici sono tradizionalmente scritti in linguaggio naturale non strutturato, mentre i sistemi di automazione per laboratori autonomi si affidano a comandi di controllo predefiniti e deterministici. Ciò crea un significativo "gap semantico" che ostacola l'esecuzione autonoma. Questa sfida è particolarmente acuta negli esperimenti basati su micropiastre (ad es., ELISA, saggi di Bradford), che richiedono la coordinazione simultanea di mappatura dei pozzetti, combinazioni campione-reagente, posizionamento delle repliche e dispensazione parallela.

Gli approcci attuali affrontano due limitazioni primarie:

1. Variabilità e Complessità: I protocolli delle micropiastre presentano un'elevata variabilità nella struttura e nell'espressione. Anche all'interno di un singolo tipo di saggio (ad es., ELISA), i passaggi, la gestione dei reagenti e le condizioni variano ampiamente. Convertire questi in strutture eseguibili richiede un ragionamento strutturale e una comprensione contestuale, non una semplice corrispondenza di parole chiave.
2. Affidabilità degli LLM: Sebbene i Large Language Models (LLM) mostrino potenziale nell'interpretare testi scientifici, gli LLM a singolo stadio end-to-end spesso faticano a produrre piani multi-step affidabili. Sono soggetti a "allucinazioni", categorizzate come:
   • Allucinazioni di Esecuzione: Generazione di comandi di controllo che violano le specifiche dell'attrezzatura (ad es., uso errato delle punte, sequenze di manipolazione dei liquidi impossibili).
   • Allucinazioni di Ragionamento: Omissione di passaggi, errori di ordinamento o interpretazione errata delle condizioni.
     L'uso diretto degli output di un LLM per il controllo robotico rischia fallimenti esecutivi. Inoltre, gli approcci a modello singolo mancano di meccanismi espliciti per verificare l'eseguibilità, permettendo agli errori di propagarsi inosservati.

2. Metodologia

Lo studio propone un Framework a Doppio Agente che colma il gap semantico attraverso una pipeline a tre stadi: Strutturazione del Protocollo, Mappatura Deterministica dei Comandi e Verifica Cross-Modello. Il framework opera su una piattaforma di laboratorio robotica personalizzata (KIMM BioForge-1) dotata di un robot SCARA per il trasporto delle piastre, un robot a gantry per la manipolazione dei liquidi e un lettore di piastre.

Componenti Core:

• Agente Parser (basato su LLM):
  • Converte i protocolli in linguaggio naturale non strutturati in una rappresentazione strutturata utilizzando un prompt di interpretazione vincolato.
  • Separa esplicitamente i passaggi in due domini: <MANUAL> (compiti eseguiti dall'utente come la diluizione) e <INSTRUMENT> (compiti automatizzati come la manipolazione dei liquidi e l'incubazione). Questa separazione assicura che il motore di mappatura operi solo su passaggi eseguibili.
  • Genera una struttura normalizzata utilizzando tag come <KIT_TITLE>, <MANUAL> e <INSTRUMENT>.
• Motore di Mappatura Basato su Regole:
  • Agisce come uno strato di esecuzione deterministico, traducendo il protocollo strutturato in comandi di controllo a livello di dispositivo.
  • Applica regole predefinite per la mappatura delle coordinate (raggruppamento dei pozzetti per la pipettazione multi-canale), la manipolazione dei liquidi, la gestione delle punte (per prevenire la contaminazione incrociata), il trasporto delle piastre e il controllo ambientale.
  • Questo strato assorbe il gap di granularità tra unità semantiche e unità di esecuzione (ad es., espandendo un singolo passaggio "Lavaggio 4×" in 34 comandi a livello di dispositivo).
• Agente di Validazione (LLM Eterogeneo):
  • Un LLM distinto (diverso dal Parser) esegue la verifica incrociata della sequenza di comandi generata rispetto al protocollo originale.
  • Verifica tre criteri: Completezza (nessun passaggio mancante), Accuratezza dei Parametri (corretta conversione di volumi, tempi, temperature) e Ordine di Esecuzione (aderenza ai vincoli dello strumento).
  • Se vengono rilevati errori, l'agente genera un feedback strutturato (tipo di errore, posizione, guida) per innescare un ciclo di auto-correzione, rigenerando il protocollo strutturato e la sequenza di comandi.

Design Sperimentale:

• Dataset: 30 protocolli ELISA selezionati casualmente da 1.000 raccolti online, con variazioni nello stile e nel formato della descrizione.
• Ground Truth: Costruito in due livelli: (1) Protocollo Strutturato GT e (2) Comando di Controllo a Livello di Dispositivo GT, etichettati da revisori esperti.
• Pool di Modelli: 7 modelli Parser (da GPT-5 a modelli Llama locali) e 3 modelli Validator (GPT-5, llama-4-maverick, Claude Sonnet 4.6).
• Metriche:
  • Accuratezza dei Parametri: Aggrega i parametri corretti attraverso gli strati strutturato e di comando, penalizzando la sovra-generazione.
  • Tasso di Superamento (Pass Rate): Categorizzato in base al numero di tentativi (1° tentativo, 2° tentativo, 3° tentativo, Fallimento Finale) entro un limite di 3 tentativi.
  • Latenza: Tempo medio di elaborazione per protocollo.

3. Risultati Chiave

• Efficacia della Verifica Cross-Modello:
  • L'efficacia del ciclo di auto-correzione dipende fortemente dalla capacità di verifica critica del Validator, non semplicemente dall'eterogeneità del modello.
  • Validator come llama-4-maverick e GPT-5 (quando usati come validator per i propri parser della stessa famiglia) erano troppo permissivi, risultando in un miglioramento dell'accuratezza trascurabile e in alti tassi di "Fallimento Finale".
  • Il Validator Claude Sonnet 4.6 ha dimostrato forti capacità di verifica. Ha indotto la rigenerazione per tutti i modelli Parser, migliorando significativamente l'accuratezza. Ad esempio, l'accuratezza di GPT-4.1-mini è salita da ~0.4 a ~0.7–0.8, e quella di llama-3.3-70b è migliorata da 0.2 a 0.35–0.4.
  • Le combinazioni cross-modello (famiglie diverse) hanno superato le combinazioni di auto-validazione, mitigando il bias di conferma.
• Trade-off Accuratezza–Latenza:
  • I piccoli modelli locali (ad es., GPT-4.1-nano) sono veloci ma hanno una bassa accuratezza di base. Tuttavia, quando accoppiati a un forte Validator (Claude), la loro accuratezza effettiva aumenta significativamente senza aumentare la latenza, spostando verso l'alto la frontiera di Pareto.
  • Ciò suggerisce una strategia di deployment pratica: utilizzare modelli piccoli e on-premise con un forte validator esterno per ottenere un'alta affidabilità mantenendo la privacy dei dati e una bassa latenza.
• Ibrido vs. End-to-End:
  • Il framework ibrido proposto (LLM + Motore Basato su Regole) ha superato significativamente l'approccio LLM end-to-end (dove l'LLM genera direttamente i comandi del dispositivo) sia in termini di Accuratezza dei Parametri che di Latenza.
  • Il motore basato su regole ha eliminato le allucinazioni di esecuzione (ad es., uso errato delle punte), provando che separare l'interpretazione semantica dall'applicazione deterministica dei vincoli è superiore.
• Dimostrazione End-to-End:
  • Il framework ha eseguito con successo due esperimenti sulla piattaforma robotica: una semplice procedura di dispensazione e un saggio di Bradford per la quantificazione delle proteine totali.
  • Utilizzando GPT-5 come Parser e Claude Sonnet 4.6 come Validator, entrambi i protocolli hanno superato la verifica al primo tentativo senza rigenerazione, portando a un'esecuzione fisica riuscita e alla generazione accurata della curva standard.

4. Significato e Rivendicazioni

Il paper sostiene di fornire un approccio flessibile e agnostico rispetto ai modelli per restringere il gap semantico tra protocolli in linguaggio naturale e laboratori autonomi basati su micropiastre. I suoi contributi specifici sono:

1. Framework Integrato: Presenta una singola pipeline che gestisce la strutturazione semantica, la mappatura deterministica dei comandi e la verifica cross-modello, consentendo la traduzione completa dal linguaggio naturale all'esecuzione fisica del robot.
2. Recupero dell'Accuratezza Leggero: Dimostra che gli LLM di medie e piccole dimensioni possono raggiungere un'accuratezza di traduzione vicina a quella dei grandi modelli cloud attraverso la correzione al tempo di inferenza (usando un Validator eterogeneo) senza necessità di ulteriore addestramento o fine-tuning.
3. Validazione Architetturale: Valida che un'architettura ibrida (LLM per la semantica + Rule-based per i vincoli) è superiore alla mappatura LLM end-to-end per il controllo robotico, mitigando efficacemente le allucinazioni.
4. Paradigma Human-in-the-Loop: Il sistema sposta il ruolo del ricercatore dalla scrittura e debugging di script alla progettazione sperimentale e alla supervisione, allineandosi alla visione dei laboratori autonomi.

Gli autori notano con modestia che l'attuale validazione è limitata alle procedure basate su micropiastre (ELISA, diluizione, dispensazione) e che la generalizzazione ad altri tipi di esperimenti (ad es., coltura cellulare, PCR) richiede l'estensione del motore basato su regole, cosa supportata dal design modulare.