Dual-Agent Framework for Cross-Model Verified Translation of Natural-Language Protocols into Robotic Laboratory Platform

Resumo Técnico: Estrutura de Agente Duplo para Tradução Verificada entre Modelos de Protocolos em Linguagem Natural para Plataforma Laboratorial Robótica

1. Declaração do Problema

Os protocolos de experimentos biológicos são tradicionalmente escritos em linguagem natural não estruturada, enquanto os sistemas de automação para laboratórios autônomos dependem de comandos de controle predefinidos e determinísticos. Isso cria um "gap semântico" significativo que dificulta a execução autônoma. Este desafio é particularmente agudo em experimentos baseados em microplacas (ex: ELISA, ensaios de Bradford), que exigem a coordenação simultânea de mapeamento de poços, combinações de amostra-reagente, posicionamento de réplicas e dispensação paralela.

As abordagens atuais enfrentam duas limitações primárias:

1. Variabilidade e Complexidade: Os protocolos de microplacas exibem alta variabilidade em estrutura e expressão. Mesmo dentro de um único tipo de ensaio (ex: ELISA), os passos, o manuseio de reagentes e as condições variam amplamente. Converter esses protocolos em estruturas executáveis requer raciocínio estrutural e compreensão contextual, não apenas correspondência de palavras-chave.
2. Confiabilidade de LLMs: Embora os Grandes Modelos de Linguagem (LLMs) mostrem promessa na interpretação de textos científicos, LLMs de ponta a ponta únicos frequentemente têm dificuldade em produzir planos multi-etapas confiáveis. Eles são propensos a "alucinações", categorizadas como:
   • Alucinações de Execução: Gerar comandos de controle que violam as especificações do equipamento (ex: uso incorreto de ponteiras, sequências de manipulação de líquidos impossíveis).
   • Alucinações de Raciocínio: Omissão de passos, erros de ordenação ou interpretação incorreta de condições.
     O uso direto de saídas de LLM para controle robótico acarreta riscos de falhas de execução. Além disso, abordagens de modelo único carecem de mecanismos explícitos para verificar a executabilidade, permitindo que erros se propaguem sem detecção.

2. Metodologia

O estudo propõe uma Estrutura de Agente Duplo (Dual-Agent Framework) que preenche o gap semântico através de um pipeline de três estágios: Estruturação de Protocolo, Mapeamento de Comando Determinístico e Verificação entre Modelos. A estrutura opera em uma plataforma laboratorial robótica customizada (KIMM BioForge-1) equipada com um robô SCARA para transporte de placas, um robô de pórtico para manipulação de líquidos e um leitor de placas.

Componentes Principais:

• Agente de Parsing (Baseado em LLM):
  • Converte protocolos de linguagem natural não estruturados em uma representação estruturada usando um prompt de interpretação restrita.
  • Separa explicitamente os passos em dois domínios: <MANUAL> (tarefas realizadas pelo usuário, como diluição) e <INSTRUMENT> (tarefas automatizadas, como manipulação de líquidos e incubação). Essa separação garante que o motor de mapeamento subsequente opere apenas em passos executáveis.
  • Gera uma estrutura normalizada usando tags como <KIT_TITLE>, <MANUAL> e <INSTRUMENT>.
• Motor de Mapeamento Baseado em Regras:
  • Atua como uma camada de execução determinística, traduzindo o protocolo estruturado em comandos de controle de nível de dispositivo.
  • Aplica regras predefinidas para mapeamento de coordenadas (agrupamento de poços para pipetagem multicanal), manipulação de líquidos, gestão de ponteiras (para evitar contaminação cruzada), transporte de placas e controle ambiental.
  • Esta camada absorve o gap de granularidade entre unidades semânticas e unidades de execução (ex: expandindo um único passo de "Lavar 4×" em 34 comandos de nível de dispositivo).
• Agente de Validação (LLM Heterogêneo):
  • Um LLM distinto (diferente do Parser) realiza a verificação cruzada da sequência de comandos gerada contra o protocolo original.
  • Verifica três critérios: Completude (nenhum passo faltando), Precisão de Parâmetros (conversão correta de volumes, tempos, temperaturas) e Ordem de Execução (adesão às restrições do instrumento).
  • Se erros forem detectados, o agente gera feedback estruturado (tipo de erro, localização, orientação) para acionar um loop de autocorreção, regenerando o protocolo estruturado e a sequência de comandos.

Design Experimental:

• Dataset: 30 protocolos de ELISA selecionados aleatoriamente de 1.000 coletados online, variando em estilo de descrição e formato.
• Ground Truth (Verdade de Campo): Construído em duas camadas: (1) Protocolo Estruturado GT e (2) Comando de Controle de Nível de Dispositivo GT, rotulados por revisores especialistas.
• Pool de Modelos: 7 modelos de Parser (variando de GPT-5 a modelos Llama locais) e 3 modelos de Validador (GPT-5, llama-4-maverick, Claude Sonnet 4.6).
• Métricas:
  • Precisão de Parâmetros: Agrega parâmetros corretos através das camadas estruturada e de comando, penalizando a supergeração.
  • Taxa de Aprovação (Pass Rate): Categorizada pelo número de tentativas (1ª Tentativa, 2ª Tentativa, 3ª Tentativa, Falha Final) dentro de um limite de 3 tentativas.
  • Latência: Tempo médio de processamento por protocolo.

3. Principais Resultados

• Eficácia da Verificação entre Modelos:
  • A eficácia do loop de autocorreção depende fortemente da capacidade de verificação crítica do Validador, e não meramente da heterogeneidade dos modelos.
  • Validadores como llama-4-maverick e GPT-5 (quando usados como validadores para seus próprios parsers da mesma família) foram permissivos demais, resultando em melhoria de precisão insignificante e altas taxas de "Falha Final".
  • O Validador Claude Sonnet 4.6 demonstrou fortes capacidades de verificação. Ele induziu a regeneração para todos os modelos de Parser, melhorando significativamente a precisão. Por exemplo, a precisão do GPT-4.1-mini subiu de ~0,4 para ~0,7–0,8, e a do llama-3.3-70b melhorou de 0,2 para 0,35–0,4.
  • Combinações cross-model (famílias diferentes) superaram combinações de autovalidação, mitigando o viés de confirmação.
• Trade-off Precisão–Latência:
  • Modelos locais pequenos (ex: GPT-4.1-nano) são rápidos, mas possuem baixa precisão basal. No entanto, quando pareados com um Validador forte (Claude), sua precisão efetiva aumenta significativamente sem aumentar a latência, deslocando a fronteira de Pareto para cima.
  • Isso sugere uma estratégia de implantação prática: usar modelos médios e pequenos locais com um validador externo forte para alcançar alta confiabilidade mantendo a privacidade dos dados e baixa latência.
• Híbrido vs. End-to-End:
  • A estrutura híbrida proposta (LLM + Motor Baseado em Regras) superou significativamente a abordagem end-to-end de LLM (onde o LLM gera diretamente comandos de dispositivo) tanto em Precisão de Parâmetros quanto em Latência.
  • O motor baseado em regras eliminou alucinações de execução (ex: uso inválido de ponteiras), provando que separar a interpretação semântica da imposição de restrições determinísticas é superior.
• Demonstração End-to-End:
  • A estrutura executou com sucesso dois experimentos na plataforma robótica: um procedimento simples de dispensação e um ensaio de Bradford para quantificação de proteína total.
  • Usando o GPT-5 como Parser e o Claude Sonnet 4.6 como Validador, ambos os protocolos passaram na verificação na 1ª tentativa sem necessidade de regeneração, resultando em execução física bem-sucedida e geração precisa da curva padrão.

4. Significância e Alegações

O artigo afirma fornecer uma abordagem flexível e agnóstica a modelos para estreitar o gap semântico entre protocolos de linguagem natural e laboratórios autônomos baseados em microplacas. Suas contribuições específicas são:

1. Estrutura Integrada: Apresenta um pipeline único que lida com estruturação semântica, mapeamento de comando determinístico e verificação entre modelos, permitindo a tradução completa da linguagem natural para a execução física do robô.
2. Recuperação de Precisão Leve: Demonstra que LLMs de médio e pequeno porte podem atingir precisão de tradução próxima à de grandes modelos em nuvem através de correção em tempo de inferência (usando um Validador heterogêneo) sem a necessidade de treinamento adicional ou fine-tuning.
3. Validação Arquitetural: Valida que uma arquitetura híbrida (LLM para semântica + Baseada em Regras para restrições) é superior ao mapeamento end-to-end de LLM para controle robótico, mitigando efetivamente as alucinações.
4. Paradigma Human-in-the-Loop: O sistema desloca o papel do pesquisador da escrita e depuração de scripts para o design experimental e supervisão, alinhando-se à visão de laboratórios autônomos.

Os autores observam modestamente que a validação atual é limitada a procedimentos baseados em microplacas (ELISA, diluição, dispensação) e que a generalização para outros tipos de experimentos (ex: cultura de células, PCR) requer a extensão do motor baseado em regras, o que o design modular suporta.