🤖 AI

AI Scientists Are Only as Good as Their Evidence: A Stratified Ablation of Proprietary Data and Reasoning Skills in Drug-Asset Valuation

Este artículo demuestra que, en la valoración de activos farmacéuticos, si bien los andamiajes de razonamiento mejoran la calibración y la disciplina de un agente de IA, la disponibilidad de evidencia patentada es el factor limitante definitivo que establece el límite superior de la exactitud fáctica y la utilidad de la decisión.

Autores originales: Yinan Wang

Publicado 2026-06-09

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yinan Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un equipo de detectives para resolver un caso complejo: ¿Vale la pena invertir millones de dólares en una nueva idea de fármaco?

Para responder a esto, el detective necesita saber tres cosas:

La Ciencia: ¿Tiene sentido la biología?
La Competencia: ¿Quién más está intentando hacer esto?
La Historia: ¿Han tenido éxito o fracasado fármacos similares anteriormente?

El artículo que has proporcionado es una "prueba de estrés" de tres tipos diferentes de detectives de IA para ver cuál es realmente el mejor para resolver este caso. Los investigadores querían averiguar: ¿Es la inteligencia del detective (el modelo de IA) lo más importante, o es la calidad de la evidencia que se le permite leer el verdadero cuello de botella?

Aquí tienes el desglose del experimento y lo que encontraron, utilizando analogías sencillas.

Los Tres Detectives (El Experimento)

Los investigadores configuraron tres versiones de un agente de IA, todas utilizando el mismo "cerebro" (el mismo modelo de IA subyacente). La única diferencia era qué herramientas e información se les permitía usar.

Detective A (El "Navegante Web"):
- Herramientas: Solo puede usar una búsqueda web estándar (como Google) y no tiene formación especial.
- Analogía: Este es un pasante inteligente que va a la biblioteca pública y lee cualquier libro que esté en los estantes abiertos. Es inteligente, pero solo puede encontrar lo que cualquier otra persona puede encontrar.
Detective B (El "Analista Capacitado"):
- Herramientas: Tiene el mismo acceso a la web, pero se le ha dado un manual de estrategias (una lista de verificación de reglas), un "red team" (un crítico para revisar su trabajo) y acceso a bases de datos públicas (como registros de ensayos clínicos).
- Analogía: Es el mismo pasante, pero ahora tiene un mentor sénior que le da una lista de verificación, un manual de reglas sobre cómo escribir informes y acceso a registros gubernamentales públicos. Es más disciplinado y organizado, pero sigue sin poder ver los "archivos secretos".
Detective C (El "Informante"):
- Herramientas: Tiene todo lo que tiene el Detective B, MÁS acceso a una base de datos privada y de pago (Noah AI) que contiene registros curados de ensayos de fármacos, acuerdos y competidores que están ocultos de la web pública.
- Analogía: Este es el investigador sénior que tiene la llave de la bóveda confidencial. Puede ver los correos electrónicos privados, los resultados de ensayos no publicados y los acuerdos de la "larga cola" (long-tail) que nunca llegaron a las noticias.

Los Resultados: ¿Qué Encontraron?

Los investigadores probaron a estos detectives en 13 casos de fármacos diferentes. Este es el veredicto:

1. El "Manual de Estrategias" Ayuda, Pero Solo Hasta Cierto Punto (Detective B vs. A)

Cuando se comparó al Detective B (el analista capacitado) con el Detective A (el navegante web), los resultados fueron interesantes:

Mejor Disciplina: El Detective B escribió mejores informes. Eran menos propensos a hacer conjeturas descabelladas y seguían las reglas mejor.
El Problema: El Detective B de todos modos se perdió entre el 60% y el 75% de los competidores y acuerdos importantes.
La Analogía: Imagina que el Detective B es un bibliotecario muy educado y organizado que sigue todas las reglas. Pero si el libro que necesita encontrar está bajo llave en una bóveda privada, ninguna cantidad de buena organización ayudará a encontrarlo. Están "calibrados" (pensando con claridad) pero "ciegos" (perdiendo hechos).

2. La "Bóveda Privada" Lo Cambia Todo (Detective C)

Cuando se trajo al Detective C (el informante), los resultados cambiaron drásticamente:

Integridad: El Detective C encontró el 96% de la información crítica. El Detective A y B solo encontraron entre el 25% y el 38%.
El Efecto de la "Larga Cola" (Long-Tail): La mayor brecha estuvo en encontrar datos de la "larga cola": ensayos de fármacos pequeños, oscuros o regionales que nunca aparecen en la web abierta. El Detective C encontró casi todos ellos; los otros no encontraron casi ninguno.
La Analogía: El Detective C no solo escribió un mejor informe; vio todo el tablero. Mientras los otros jugaban al ajedrez con solo la mitad de las piezas, el Detective C vio el juego completo.

3. La Puntuación de "Decisión Informada"

Este es el hallazgo más importante.

Calidad Bruta: Si solo leyeras el informe final sin saber qué hechos faltaban, el Detective A y B sonarían casi tan bien como el Detective C. Sonaban seguros de sí mismos y lógicos.
Calidad Real: Pero debido a que A y B carecían de muchos hechos, sus decisiones se basaban en información incompleta.
Las Matemáticas: Los investigadores crearon una puntuación llamada "Calidad de la Decisión Informada".
- Puntuación del Detective A/B: ~2.0 (Sonaban bien, pero les faltaba el 75% de los hechos).
- Puntuación del Detective C: ~7.4 (Sonaban bien Y tenían todos los hechos).
El Techo: El artículo argumenta que incluso si le dieras al Detective B un "cerebro perfecto" y un informe perfecto, seguiría limitado a una puntuación baja porque físicamente no podía acceder a la evidencia faltante. No puedes razonar tu camino hacia una verdad que no puedes ver.

La Gran Conclusión

El artículo concluye con una lección sencilla para construir científicos de IA:

"Las habilidades y los datos son útiles, pero los datos son el límite."

Habilidades de Razonamiento (El Manual de Estrategias): Son necesarias. Evitan que la IA sea temeraria, la ayudan a organizar sus pensamientos y aseguran que siga las reglas. Hacen que la IA sea un mejor escritor y un pensador más disciplinado.
Sustrato de Evidencia (Los Datos): Este es el factor limitante. Si la IA no tiene acceso a los datos privados y curados de la "larga cola", literalmente no puede conocer la verdad completa. Ninguna cantidad de trucos de razonamiento o de prompts ingeniosos puede llenar los vacíos de la información faltante.

En resumen: Puedes tener al detective más inteligente del mundo con el mejor manual de reglas, pero si no se le permite entrar en la sala de evidencias, nunca resolverá el caso correctamente. Para que la IA sea verdaderamente útil en campos de alto riesgo como el descubrimiento de fármacos, necesita acceso a la evidencia privada y curada, no solo a la internet pública.

Resumen Técnico: Los Científicos de IA son tan buenos como su evidencia

Planteamiento del Problema
La evaluación de los agentes Científicos de IA en dominios especializados, como la valoración de activos farmacológicos, suele confundir las capacidades de razonamiento con la calidad de la evidencia subyacente. Mientras que los agentes se evalúan frecuentemente basándose en la calidad del modelo, el prompting o los andamiajes de razonamiento, este documento postula que el factor limitante en tareas de alta densidad de conocimiento es el "sustrato de evidencia": los datos privados, curados y de cola larga (long-tail) disponibles para el agente. En la valoración de fármacos, las decisiones correctas de go/watch/no-go requieren la síntesis de la biología del objetivo, los pipelines competitivos, los precedentes clínicos y la inteligencia de desarrollo de negocios (BD). El documento investiga si el cuello de botella para un agente de IA es su procedimiento de razonamiento o la completitud fáctica de los datos a los que puede acceder.

Metodología
Los autores realizaron un estudio de ablación controlado de tres brazos sobre un agente de valoración de grado de producción utilizando el entorno Claude Code con el modelo Opus 4.8 MAX. La capacidad del modelo y los presupuestos de tiempo/alcance se mantuvieron constantes en todos los brazos; las variables manipuladas fueron el acceso a herramientas/habilidades no propietarias y datos propietarios.

Brazo A (Simple): Un analista generalista competente con solo búsqueda web. Se le prohibió explícitamente el uso de habilidades de proyecto, herramientas o datos propietarios, y no se le asignó una rúbrica de puntuación.
Brazo B (+Habilidades + Herramientas Públicas): El sistema completo que incluye un manual de valoración de 14 dimensiones, APIs públicas (ClinicalTrials.gov, PubMed, OpenTargets, OpenFDA), un verificador de citas, una carta de objetividad y un equipo de ataque (red-team) adversarial. Crucialmente, la fuente de datos propietarios fue privada (apuntando a un directorio vacío).
Brazo C (+Habilidades + Herramientas Públicas + Datos): Idéntico al Brazo B, pero con acceso a la base de datos propietaria Noah AI, que contiene inteligencia curada de pipelines, ensayos y transacciones derivada de más de 50,000 fuentes.

Benchmark y Métricas
El estudio utilizó un benchmark de 13 activos farmacológicos de un solo objetivo, estratificados en cinco arquetipos de decisión (S1–S5) diseñados para exponer modos de falla específicos (p. ej., me-toos validados pero saturados, oportunidades de espacio en blanco y vacíos biológicos).

Las métricas se categorizaron en tres ejes:

Cobertura Fáctica: Medida mediante la recuperación frente a un registro competitivo "oro" curado ( $R_{gold}$ ) y un subconjunto de cola larga. Se utilizó un método de "superset de capacidad", donde los brazos superiores reciben el crédito por la unión acumulativa de los hallazgos de los brazos inferiores para estimar la capacidad fáctica.
Disciplina Metodológica/Objetividad: Calificada por un panel de 3 jueces ciegos sobre la adherencia a ocho leyes de objetividad (p. ej., veredicto primero, jerarquización de evidencia, evidencia disconfirmatoria).
Calidad de la Decisión: Incluyó la calidad de decisión (DQ) bruta del panel ciego y la "Calidad de Decisión Informada", definida como $DQ \times R_{gold}$ . Esta métrica tiene en cuenta que un veredicto sólido basado en evidencia incompleta es de menor utilidad.

Resultados Clave

Techo Fáctico: El stack no propietario (Brazo B) recuperó solo 0.38 del registro competitivo de oro curado y 0.30 del subconjunto de cola larga. En contraste, el stack habilitado por datos (Brazo C) recuperó 0.96 del registro de oro y 0.93 del subconjunto de cola larga. El Brazo A recuperó solo 0.25 y 0.26 respectivamente.
Razonamiento vs. Datos:
- Calibración: El Brazo B mejoró la precisión de "rango de nivel" (tier-in-range) de 0.80 (Brazo A) a 0.89, corrigiendo un fallo sistemático donde el agente simple (A) rechazaba indiscriminadamente oportunidades de espacio en blanco de mecanismos validados (S2).
- Objetividad: El Brazo B mejoró modestamente las puntuaciones de objetividad (de 3.16 a 3.30), pero el Brazo C alcanzó la puntuación más alta (3.60), lo que sugiere que una evidencia más rica permite una argumentación más fundamentada.
- Calidad de la Decisión: La calidad de decisión (DQ) bruta del panel ciego fue similar entre el A (7.01) y el B (6.96), lo que indica que las habilidades/herramientas mejoran la calibración pero no necesariamente la solidez de la prosa de un veredicto sobre datos limitados. El Brazo C logró una DQ bruta superior (7.65).
Calidad de Decisión Informada: Al factorizar la completitud de la evidencia, el Brazo C dominó con una puntuación de 7.43, comparado con 1.76 para el Brazo A y 2.57 para el Brazo B.
Análisis de Techo: Incluso bajo una suposición generosa donde el Brazo B produjera un reporte perfecto (DQ=10), su "Calidad de Decisión Informada" estaría limitada a 3.83 debido a su cobertura de 0.383 de las celdas evaluables de utilidad. Esto es significativamente inferior a la puntuación observada del Braoma C de 7.43.

Significancia y Reivindicaciones
El documento concluye que para los agentes Científicos de IA con alta densidad de conocimiento, las habilidades de razonamiento y las herramientas estructuradas públicas son capas de control necesarias, pero el sustrato de evidencia propietario es el recurso limitante.

El Cuello de Botella: El principal cuello de botella no es el procedimiento de razonamiento, sino el sustrato de evidencia. Los datos propietarios determinan el límite superior de lo que un Científico de IA puede saber y, consecuentmente, decidir.
Roles Complementarios: Las herramientas no propietarias y los andamiajes de razonamiento mejoran la calibración (evitando la subvaloración sistemática de oportunidades de espacio en blanco) y la disciplina de auditoría. Sin embargo, no pueden fabricar registros faltantes de la cola larga.
Implicación de Evaluación: Evaluar a los agentes de IA únicamente basándose en la solidez de su razonamiento o en la calidad de su prosa es insuficiente si la base de evidencia subyacente es incompleta. Un reporte puede ser metodológicamente sólido y, sin embargo, estar científicamente mal informado.
Lección Práctica: La arquitectura óptima es estratificada: "habilidades sobre los datos correctos". Para dominios con evidencia propietaria o de cola larga, la capacidad decisiva suele provenir del acceso al corpus que define el espacio del problema, más que de un aumento en los prompts de razonamiento.

Los autores señalan que las claves "oro" utilizadas para la evaluación se derivaron de la misma familia de inteligencia propietaria disponible para el Brazo C, lo que significa que los resultados miden específicamente la capacidad de recuperar un registro de diligencia propietaria curado, en lugar de un ground truth independiente de beneficio clínico. No obstante, la brecha en la cobertura (0.38 vs 0.96) sigue siendo robusta incluso bajo un recuento generoso de superset de capacidad.