🤖 AI

AI Scientists Are Only as Good as Their Evidence: A Stratified Ablation of Proprietary Data and Reasoning Skills in Drug-Asset Valuation

Este artigo demonstra que, na avaliação de ativos farmacêuticos, embora os andaimes de raciocínio melhorem a calibração e a disciplina de um agente de IA, a disponibilidade de evidências proprietárias é o fator limitante definitivo que estabelece o limite superior da precisão factual e da utilidade decisória.

Autores originais: Yinan Wang

Publicado 2026-06-09

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yinan Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está contratando uma equipe de detetives para resolver um caso complexo: Vale a pena investir milhões de dólares em uma nova ideia de medicamento?

Para responder a isso, o detetive precisa saber três coisas:

A Ciência: A biologia faz sentido?
A Competição: Quem mais está tentando fazer isso?
O Histórico: Medicamentos semelhantes tiveram sucesso ou falharam anteriormente?

O artigo que você forneceu é um "teste de estresse" de três tipos diferentes de detetives de IA para ver qual deles é realmente o melhor para resolver este caso. Os pesquisadores queriam descobrir: A inteligência do detetive (o modelo de IA) é o mais importante, ou a qualidade das evidências que ele tem permissão para ler é o verdadeiro gargalo?

Aqui está a divisão do experimento e o que eles descobriram, usando analogias simples.

Os Três Detetives (O Experimento)

Os pesquisadores configuraram três versões de um agente de IA, todas usando o mesmo "cérebro" (o mesmo modelo de IA subjacente). A única diferença era quais ferramentas e informações eles podiam usar.

Detetive A (O "Navegador da Web"):
- Ferramentas: Pode usar apenas uma pesquisa na web padrão (como o Google) e não possui treinamento especial.
- Analogia: Este é um estagiário inteligente que vai a uma biblioteca pública e lê quaisquer livros que estejam nas prateleiras abertas. Eles são inteligentes, mas só podem encontrar o que qualquer outra pessoa consegue encontrar.
Detetive B (O "Analista Treinado"):
- Ferramentas: Tem o mesmo acesso à web, mas recebeu um playbook rigoroso (uma lista de verificação de regras), um "red team" (um crítico para checar seu trabalho) e acesso a bancos de dados públicos (como registros de ensaios clínicos).
- Analogia: É o mesmo estagiário, mas agora com um mentor sênior dando a ele um checklist, um livro de regras sobre como escrever relatórios e acesso a registros governamentais públicos. Eles são mais disciplinados e organizados, mas ainda não conseguem ver os "arquivos secretos".
Detetive C (O "Insider"):
- Ferramentas: Tem tudo o que o Detetive B tem, MAIS acesso a um enorme banco de dados privado e pago (Noah AI) que contém registros curados de ensaios de medicamentos, negócios e concorrentes que estão ocultos da web pública.
- Analogia: Este é o investigador sênior que tem a chave para o cofre confidencial. Ele pode ver os e-mails privados, os resultados de ensaios não publicados e os negócios de "cauda longa" que nunca viraram notícia.

Os Resultados: O Que Eles Descobriram?

Os pesquisadores testaram esses detetives em 13 casos de medicamentos diferentes. Aqui está o veredito:

1. O "Playbook" Ajuda, Mas Só Até Certo Ponto (Detetive B vs. A)

Quando o Detetive B (o analista treinado) foi comparado ao Detetive A (o navegador da web), os resultados foram interessantes:

Melhor Disciplina: O Detetive B escreveu melhores relatórios. Eles foram menos propensos a fazer suposições descabidas e seguiram as regras melhor.
O Probleã: O Detetive B ainda deixou de encontrar 60% a 75% dos concorrentes e negócios importantes.
A Analogia: Imagine que o Detetive B é um bibliotecário muito educado e organizado que segue todas as regras. Mas se o livro que ele precisa encontrar estiver trancado em um cofre privado, nenhuma organização, por melhor que seja, o ajudará a encontrá-lo. Eles estão "calibrados" (pensando com clareza), mas "cegos" (perdendo fatos).

2. O "Cofre Privado" Muda Tudo (Detetive C)

Quando o Detetive C (o insider) foi chamado, os resultados mudaram drasticamente:

Completude: O Detetive C encontrou 96% das informações críticas. O Detetive A e o B encontraram apenas cerca de 25% a 38%.
O Efeito "Cauda Longa": A maior lacuna estava em encontrar dados de "cauda longa" — ensaios de medicamentos pequenos, obscuros ou regionais que nunca aparecem na web aberta. O Detetive C encontrou quase todos eles; os outros não encontraram quase nada.
A Analogia: O Detetive C não apenas escreveu um relatório melhor; ele viu o tabuleiro inteiro. Enquanto os outros estavam jogando xadrez com apenas metade das peças, o Detetive C via o jogo completo.

3. A Pontuação de "Decisão Informada"

Esta é a descoberta mais importante.

Qualidade Bruta: Se você apenas lesse o relatório final sem saber quais fatos estavam faltando, o Detetive A e o B pareceriam quase tão bons quanto o Detetive C. Eles pareciam confiantes e lógicos.
Qualidade Real: Mas, como o A e o B estavam perdendo muitos fatos, suas decisões eram baseadas em informações incompletas.
A Matemática: Os pesquisadores criaram uma pontuação chamada "Qualidade da Decisão Informada".
- Pontuação do Detetive A/B: ~2.0 (Eles pareciam bons, mas estavam perdendo 75% dos fatos).
- Pontuação do Detetive C: ~7.4 (Eles pareciam bons E tinham todos os fatos).
O Teto: O artigo argumenta que, mesmo que você desse ao Detetive B um "cérebro perfeito" e um relatório perfeito, eles ainda estariam limitados a uma pontuação baixa porque fisicamente não poderiam acessar as evidências ausentes. Você não pode raciocinar o caminho para uma verdade que não consegue enxergar.

A Grande Conclusão

O artigo conclui com uma lição simples para a construção de cientistas de IA:

"Habilidades e dados são úteis, mas os dados são o limite."

Habilidades de Raciocínio (O Playbook): Estas são necessárias. Elas impedem que a IA seja imprudente, ajudam-na a organizar seus pensamentos e garantem que ela siga as regras. Elas tornam a IA um melhor escritor e um pensador mais disciplinado.
Substrato de Evidência (Os Dados): Este é o fator limitante. Se a IA não tiver acesso aos dados privados e curados de cauda longa, ela literalmente não poderá saber a verdade completa. Nenhum tipo de prompt inteligente ou truque de raciocínio pode preencher as lacunas de informações ausentes.

Em resumo: Você pode ter o detetive mais inteligente do mundo com o melhor livro de regras, mas se ele não for permitido entrar na sala de evidências, ele nunca resolverá o caso corretamente. Para que a IA seja verdadeiramente útil em campos de alto risco como a descoberta de fármacos, ela precisa de acesso às evidências privadas e curadas, e não apenas à internet pública.

Resumo Técnico: Cientistas de IA são tão bons quanto sua evidência

Declaração do Problema
A avaliação de agentes Cientistas de IA em domínios especializados, como a avaliação de ativos farmacêuticos, frequentemente confunde capacidades de raciocínio com a qualidade da evidência subjacente. Enquanto os agentes são frequentemente avaliados com base na qualidade do modelo, no prompting ou em arcabouços de raciocínio, este artigo postula que o fator limitante em tarefas intensivas em conhecimento é o "substrato de evidência" — os dados privados, curados e de cauda longa (long-tail) disponíveis para o agente. Na avaliação de fármacos, decisões corretas de go/watch/no-go exigem a síntese de biologia do alvo, pipelines competitivos, precedentes clínicos e inteligência de desenvolvimento de negócios (BD). O artigo investiga se o gargalo para um agente de IA é seu procedimento de raciocínio ou a completude factual dos dados aos quais ele pode acessar.

Metodologia
Os autores conduziram um estudo de ablação controlado de três braços em um agente de avaliação de nível de produção usando o ambiente Claude Code com o modelo Opus 4.8 MAX. A capacidade do modelo e os orçamentos de tempo/escopo foram mantidos constantes em todos os braços; as variáveis manipuladas foram o acesso a ferramentas/habilidades não proprietárias e dados proprietários.

Braço A (Simples/Plain): Um analista generalista competente com apenas busca na web. Foi explicitamente proibido de usar habilidades de projeto, ferramentas ou dados proprietários e não recebeu nenhum critério de pontuação.
Braço B (+Habilidades + Ferramentas Públicas): O sistema completo incluindo um playbook de avaliação de 14 dimensões, APIs públicas (ClinicalTrials.gov, PubMed, OpenTargets, OpenFDA), um verificador de citações, uma carta de objetividade e um red-team adversário. Crucialmente, a fonte de dados proprietária foi privada (apontada para um diretório vazio).
Braço C (+Habilidades + Ferramentas Públicas + Dados): Idêntico ao Braço B, mas com acesso ao banco de dados proprietário Noah AI, que contém inteligência curada de pipelines, ensaios e transações derivada de mais de 50.000 fontes.

Benchmark e Métricas
O estudo utilizou um benchmark de 13 ativos de fármacos de alvo único, estratificados em cinco arquétipos de decisão (S1–S5) projetados para expor modos de falha específicos (ex: me-toos validados, mas congestionados; oportunidades de espaço em branco; e vazios biológicos).

As métricas foram categorizadas em três eixos:

Cobertura Factual: Medida pelo recall contra um registro competitivo "ouro" curado ( $R_{gold}$ ) e um subconjunto de cauda longa. Foi utilizado um método de contagem de "superset de capacidade", onde braços superiores recebiam crédito pela união cumulativa das descobertas dos braços inferiores para estimar a capacidade factual.
Disciplina Metodológica/Objetividade: Pontuada por um painel cego de 3 juízes quanto à adesão a oito leis de objetividade (ex: veredito primeiro, hierarquização de evidências, evidência de desconfirmação).
Qualidade da Decisão: Incluiu a qualidade de decisão (DQ) bruta do painel cego e a "Qualidade de Decisão Informada", definida como $DQ \times R_{gold}$ . Esta métrica leva em conta o fato de que um veredito sólido baseado em evidências incompletas é de menor utilidade.

Principais Resultados

Teto Fatorial: A pilha não proprietária (Braço B) recuperou apenas 0,38 do registro competitivo ouro curado e 0,30 do subconjunto de cauda longa. Em contraste, a pilha habilitada por dados (Braço C) recuperou 0,96 do registro ouro e 0,93 do subconjunto de cauda longa. O Braço A recuperou apenas 0,25 e 0,26 respectivamente.
Raciocínio vs. Dados:
- Calibração: O Braço B melhorou a precisão "dentro do intervalo" (tier-in-range) de 0,80 (Braço A) para 0,89, corrigindo uma falha sistemática onde o agente simples (A) rejeitava indiscriminadamente oportunidades de espaço em branco de mecanismos validados (S2).
- Objetividade: O Braço B melhorou modestamente as pontuações de objetividade (de 3,16 para 3,30), mas o Braço C alcançou a pontuação mais alta (3,60), sugerindo que evidências mais ricas permitem argumentações mais fundamentadas.
- Qualidade da Decisão: A qualidade de decisão (DQ) bruta do painel cego foi semelhante entre A (7,01) e B (6,96), indicando que habilidades/ferramentas melhoram a calibração, mas não necessariamente a solidez da prosa de um veredito sobre dados limitados. O Braço C alcançou uma DQ bruta superior (7,65).
Qualidade de Decisão Informada: Ao fatorar a completude da evidência, o Braço C dominou com uma pontuação de 7,43, comparado a 1,76 para o Braço A e 2,57 para o Braço B.
Análise de Teto: Mesmo sob uma suposição generosa onde o Braço B produzisse um relatório perfeito (DQ=10), sua "Qualidade de Decisão Informada" seria limitada a 3,83 devido à sua cobertura de 0,383 das células avaliáveis de utilidade. Isso é significativamente abaixo da pontuação observada do Braço C de 7,43.

Significância e Alegações
O artigo conclui que, para agentes Cientistas de IA em domínios intensivos em conhecimento, habilidades de raciocínio e ferramentas estruturadas públicas são camadas de controle necessárias, mas o substrato de evidência proprietária é o recurso limitante.

O Gargalo: O principal gargalo não é o procedimento de raciocínio, mas o substrato de evidência. Os dados proprietários determinam o limite superior do que um Cientista de IA pode saber e, consequentemente, decidir.
Papéis Complementares: Ferramentas não proprietárias e arcabouços de raciocínio melhoram a calibração (evitando a subavaliação sistemática de oportunidades de espaço em branco) e a disciplina de auditoria. No entanto, eles não podem fabricar registros ausentes de cauda longa.
Implicação de Avaliação: Avaliar agentes de IA unicamente pela solidez de seu raciocínio ou pela qualidade de sua prosa é insuficiente se a base de evidências subjacente estiver incompleta. Um relatório pode ser metodologicamente sólido, mas cientificamente mal informado.
Lição Prática: A arquitetia ideal é em camadas: "habilidades sobre os dados certos". Para domínios com evidências proprietárias ou de cauda longa, a capacidade decisiva geralmente advém do acesso ao corpus que define o espaço do problema, em vez de prompts de raciocínio adicionais.

Os autores observam que as chaves "ouro" utilizadas para a avaliação foram derivadas da mesma família de inteligência proprietária disponível para o Braço C, o que significa que os resultados medem especificamente a habilidade de recuperar um registro de diligência proprietário curado, em vez de uma verdade de terreno de benefício clínico independente. No entanto, a lacuna de cobertura (0,38 vs. 0,96) permanece robusta mesmo sob a contagem generosa de capability-superset.