Designing a Robust LLM-Based Evaluation System for Agentic AI in Drug Discovery Through Human Alignment
Este artigo apresenta um framework de avaliação LLM-as-a-Judge alinhado ao humano para o sistema de descoberta de fármacos agêntico ChatInvent, que define dimensões de qualidade específicas, valida e otimiza um modelo juiz por meio de anotação de especialistas para alcançar alto alinhamento, e revela que o uso de linguagem informal não prejudica o desempenho.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo de alto risco da descoberta de fármacos, cientistas passam anos projetando moléculas, construindo-as em laboratório e testando-as para ver se podem curar doenças. Esse processo é lento, caro e repleto de decisões complexas. Recentemente, um novo tipo de inteligência artificial entrou em cena: sistemas que não apenas respondem perguntas, mas tomam ações. Estes são chamados de sistemas agentes. Diferente de um chatbot padrão que simplesmente gera texto, um agente pode planejar um experimento de múltiplos passos, recorrer a softwares especializados para calcular propriedades químicas e recuperar dados de vastos bancos de dados científicos. Ele atua mais como um assistente de pesquisa digital que pode realmente realizar o trabalho, não apenas falar sobre ele. No entanto, à medida que esses assistentes digitais se tornam mais capazes, um problema crítico surge: como saber se eles estão fazendo um bom trabalho? As formas tradicionais de avaliar respostas de computadores, que frequentemente dependem de comparar palavras a uma resposta correta, falham quando a tarefa é aberta e criativa. Além disso, pedir a especialistas humanos para avaliar cada única saída é muito lento para acompanhar a velocidade dessas novas máquinas. A comunidade científica precisava de uma maneira de avaliar esses agentes que fosse rápida e confiável.
Uma equipe de pesquisadores da AstraZeneca e da Universidade de Gotemburgo enfrentou esse desafio construindo um sistema onde uma inteligência artificial atua como juíza de outra. Eles focaram em uma ferramenta específica chamada ChatInvent, um assistente agente projetado para ajudar cientistas a navegar pelas etapas do desenvolvimento de fármacos. Os pesquisadores sabiam que simplesmente deixar uma IA avaliar a si mesma era arriscado, pois esses modelos podem ser tendenciosos ou inconsistentes. Para resolver isso, eles projetaram uma estrutura de teste rigorosa para garantir que a IA "juíza" concordasse com especialistas humanos. Eles definiram quatro qualidades específicas que uma boa resposta deve ter: se a resposta era completa, se a informação era relevante para a pergunta, o quão clara e bem organizada era a estrutura do texto e se o agente permanecia dentro de seu papel atribuído sem tentar fazer coisas para as quais não deveria. Eles também incluíram uma verificação estrita para ver se o agente utilizou as ferramentas de computador corretas para realizar o trabalho.
Para encontrar o melhor juiz, a equipe testou quatro modelos de IA poderosos diferentes, incluindo opções de grandes empresas de tecnologia e projetos de código aberto. Eles pediram a cinco especialistas em química e inteligência artificial para avaliar um conjunto de 35 perguntas e respostas. Esses especialistas receberam as mesmas instruções e informações que os juízes de IA. Os pesquisadores então compararam as pontuações dadas pelos humanos contra as pontuações dadas por cada modelo de IA. Eles descobriram que, embora os especialistas humanos nem sempre concordassem perfeitamente entre si, os modelos de IA foram surpreendentemente consistentes. Um modelo, em particular, alinhou-se muito de perto com a opinião da maioria dos humanos. Os pesquisadores então usaram um pequeno conjunto de exemplos, anotados pelos especialistas humanos, para ajustar esse juiz de IA com melhor desempenho. Esse processo, conhecido como otimização, melhorou a capacidade do juiz de corresponder ao pensamento humano, elevando seu índice de concordância de 80% para 86%.
Com um juiz confiável em mãos, a equipe avaliou 70 novas perguntas que o sistema ChatInvent nunca havia visto antes. Os resultados revelaram tanto pontos fortes quanto fracos no desempenho do agente. O sistema foi excelente em manter-se no tópico, organizar suas respostas claramente e usar as ferramentas certas para reunir informações. No entanto, teve dificuldades com a completude. Em quase 40% dos casos, o agente forneceu uma resposta parcial, muitas vezes esquecendo de incluir detalhes específicos, como onde encontrar um arquivo gerado ou uma propriedade química solicitada. Os pesquisadores descobriram que isso não ocorria porque o agente entendia mal a pergunta, mas porque ele às vezes falhava em executar um passo final em seu fluxo de trabalho. Curiosamente, a maneira como a pergunta era feita fazia diferença. A equipe testou perguntas variando de muito formais a muito casuais. Eles descobriram que o fraseamento excessivamente formal não ajudava o agente a performar melhor; na verdade, um fraseamento ligeiramente mais informal ou neutro às vezes levava a melhores resultados. Isso sugere que o agente poderia se beneficiar de ter seu próprio sistema interno reescrevendo um comando (prompt) rígido ou complexo do usuário em uma versão mais clara antes de começar a trabalhar.
O estudo conclui que, embora esses sistemas agentes possuam grande potencial para acelerar a descoberta de fármacos, eles ainda não são perfeitos. Os pesquisadores demonstraram que é possível construir um sistema de avaliação robusto e automatizado que espelhe o julgamento humano, desde que o juiz seja cuidadosamente alinhado com as opiniões dos especialistas. Essa abordagem permite que os desenvolvedores identifiquem rapidamente onde seus agentes estão falhando — como em caminhos de arquivos ausentes ou dados incompletos — sem a necessidade de contratar uma equipe de avaliadores humanos para cada teste. O trabalho serve como um modelo para o futuro, mostrando que, para a inteligência artificial ser verdadeiramente útil na ciência, devemos primeiro ensiná-la a avaliar seu próprio trabalho com o mesmo cuidado e precisão que um especialista humano usaria.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.