Verification Debt in Automated Biological Research Workflows: A Proof-of-Concept

A biologia moderna está entrando em uma era em que os computadores não são mais apenas ferramentas para processar números, mas parceiros ativos na descoberta. Cientistas estão começando a usar agentes de inteligência artificial — programas de software projetados para agir como pesquisadores — para planejar experimentos, vasculhar vastas bibliotecas de literatura médica e conectar pontos entre genes e doenças. Esses sistemas podem acessar milhares de bancos de dados biológicos e executar fluxos de trabalho complexos que antes levavam semanas para serem concluídos por equipes humanas. A promessa é imensa: curas mais rápidas, uma compreensão mais profunda da vida e uma escala de pesquisa que os humanos jamais conseguiriam gerenciar sozinhos. No entanto, essa velocidade traz um novo tipo de risco. Quando um computador toma uma decisão, nem sempre fica claro por que ele fez aquela escolha, qual evidência utilizou ou se ele pulou uma etapa crucial. Se um humano não consegue verificar facilmente o trabalho do computador, um fardo oculto de incerteza começa a se acumular. É o que os pesquisadores chamam de "dívida de verificação": o acúmulo crescente de suposições não verificadas e etapas ocultas que poderiam levar a conclusões falsas se não forem checadas.

Uma equipe de pesquisadores partiu para medir exatamente quanto dessa dívida existe na IA biológica atual. Eles escolheram testar um sistema específico chamado Biomni, um agente de inteligência artificial projetado para lidar com pesquisas biomédicas. A equipe não simplesmente perguntou ao computador se ele era inteligente; eles o colocaram para trabalhar em dez questões biológicas específicas e reais. Essas perguntas variavam de indagações simples, como "O que esta proteína específica faz?", a quebra-cabeças complexos, como "Como os dados de RNA e de proteínas se combinam para explicar um tipo específico de câncer?". Para garantir que os resultados fossem confiáveis, os pesquisadores pediram à IA que respondesse a cada pergunta três vezes separadamente, tratando cada execução como um experimento independente. Eles então examinaram meticulosamente cada passo dado pela IA, desde o momento em que recebeu a pergunta até a resposta final produzida. O objetivo era ver se o raciocínio da IA podia ser rastreado até uma evidência sólida, ou se ela estava dando saltos que um cientista humano não poderia verificar.

Os pesquisadores descobriram que, embora a IA fosse capaz de produzir respostas rigorosas e frequentemente corretas, ela frequentemente deixava para trás um rastro de escolhas não verificadas. Em muitos casos, a IA citava um estudo científico para apoiar uma afirmação, mas não havia lido o texto completo desse estudo. Em vez disso, ela confiava em um breve resumo fornecido por uma ferramenta de busca, assumindo que o resumo continha o fato específico de que precisava. Isso criava uma situação em que a IA parecia estar fundamentada em evidências, mas a evidência estava, na verdade, ausente ou incompleta. A equipe descobriu que, para fatos biológicos bem conhecidos, a IA frequentemente pulava o processo de busca, respondendo a partir de sua memória interna sem informar ao usuário que o estava fazendo. Isso significava que, para algumas perguntas, não havia como um humano verificar de onde a informação veio, deixando uma lacuna na cadeia de prova.

A natureza do problema mudava dependendo da dificuldade da pergunta. Para perguntas mais simples, o principal problema era a falta de transparência; a IA fazia suposições ou pulava etapas sem explicar o porquê. Para as questões mais complexas, os problemas mudavam para a interpretação. A IA às vezes trazia conclusões mais fortes do que os dados realmente suportavam, ou misturava diferentes tipos de evidência, como combinar resultados de estudos em camundongos com dados genéticos humanos, sem esclarecer a diferença em sua confiabilidade. Os pesquisadores observaram que esses erros não eram consistentes; eles aconteciam de forma imprevisível. Uma vez a IA poderia seguir um caminho perfeito e, na próxima, poderia tomar uma rota diferente com falhas ocultas. Essa imprevisibilidade torna difícil simplesmente confiar no sistema, mesmo quando ele obtém a resposta certa, porque o caminho para chegar a ela pode ser falho.

Um achado fundamental do estudo foi que ter um registro dos passos da IA, conhecido como "traço" (trace), não era suficiente para garantir que o trabalho estivesse correto. A IA poderia fornecer um log detalhado de cada ferramenta que usou e cada banco de dados que consultou, mas ainda assim chegar a uma conclusão baseada em um mal-entendido dos dados ou em uma suposição não declarada. Os pesquisadores identificaram um tipo específico de risco chamado "consequência de dependência", onde uma única decisão não verificada no início do processo poderia reverberar por todo o fluxo de trabalho, corrompendo todos os resultados subsequentes. Eles descobriram que, em quase todas as perguntas testadas, a maioria das decisões da IA carregava esse tipo de risco de alto nível. Se um pesquisador humano não verificasse cuidadosamente cada elo da corrente, um pequeno erro poderia levar a um grande erro científico.

O estudo conclui que, embora esses sistemas automatizados sejam poderosos, eles não podem ser confiados para trabalhar inteiramente sozinhos. A velocidade e a escala que oferecem são valiosas, mas criam um abismo entre o que o computador faz e o que um humano pode verificar. Os pesquisadores argumentam que a transparência — mostrar os passos que a IA tomou — é necessária, mas não suficiente. Um sistema pode ser totalmente rastreável e ainda assim produzir resultados não confiáveis se o raciocínio por trás desses passos for falho. Para avançar, a comunidade científica precisa de novas formas de verificar sistematicamente não apenas a resposta final, mas toda a jornada que a IA percorreu para chegar até lá. Até que esses métodos de verificação estejam implementados, os especialistas humanos devem permanecer no controle, prontos para detectar as dívidas ocultas que as máquinas acumulam enquanto trabalam.