Budget-Sensitive Discovery Scoring: A Formally Verified Framework for Evaluating AI-Guided Scientific Selection

Este artículo presenta el BSDS, un marco de evaluación formalmente verificado que penaliza los descubrimientos falsos y la abstención excesiva bajo restricciones presupuestarias, demostrando mediante un estudio de caso en el descubrimiento de fármacos que los LLMs no aportan valor marginal sobre un clasificador de aprendizaje automático entrenado para la selección de candidatos.

Lo esencial

Imagina que eres un cazador de tesoros en un océano gigante lleno de 40,000 botellas de agua. Solo 1,400 de esas botellas contienen un elixir mágico (un medicamento que cura el VIH). El problema es que no puedes abrir todas las botellas; tu presupuesto solo te permite abrir 500.

Si abres una botella vacía, gastas dinero y tiempo. Si te saltas una botella con elixir, pierdes la oportunidad de salvar vidas.

Hasta ahora, los científicos usaban reglas generales para decidir qué botellas abrir, pero nadie tenía una "regla de oro" matemática para medir quién era el mejor cazador, especialmente cuando los nuevos "cazadores" eran Inteligencias Artificiales (IA) que a veces alucinan cosas que no existen.

Este artículo presenta tres cosas principales:

1. El Nuevo Medidor: "La Puntuación de Descubrimiento Sensible al Presupuesto" (BSDS)

Imagina que tienes un termómetro especial para medir el éxito de un cazador. Los medidores antiguos solo miraban "¿cuántas botellas acertaste en total?". Pero este nuevo termómetro es más inteligente:

• Castiga los errores: Si abres una botella vacía (falso positivo), el termómetro baja.
• Castiga la pereza: Si el cazador dice "no sé, no abriré ninguna" (abstención) para evitar errores, el termómetro también baja un poco, porque tienes que usar tu presupuesto.
• Es justo: No importa si el cazador acierta mucho al principio o al final; el termómetro promedia todo para que nadie pueda "trampar" eligiendo solo el momento perfecto.

Además, los autores han usado un robot matemático (Lean 4) para verificar que este termómetro funciona perfectamente y no tiene errores de lógica. ¡Es como si un juez supremo hubiera firmado el reglamento!

2. La Gran Prueba: ¿Ayudan las IAs (como ChatGPT) a encontrar el elixir?

Los autores pusieron a prueba a 39 cazadores diferentes:

• Algunos eran métodos clásicos y sencillos (como un algoritmo llamado "Random Forest" o "Bosque Aleatorio").
• Otros eran IAs modernas (como versiones de ChatGPT, Claude, Gemini) que podían leer las etiquetas de las botellas (la fórmula química) y tratar de adivinar cuál tenía el elixir.

El resultado fue sorprendente:
Las IAs modernas, aunque son muy buenas escribiendo poemas o resumiendo noticias, fueron peores que el método clásico y sencillo.

• La IA "Directa": Cuando la IA intentaba adivinar solo mirando la etiqueta, fue casi tan mala como tirar una moneda al aire.
• La IA "Revisora": Cuando la IA intentó mejorar las decisiones de un humano experto, en lugar de ayudar, empeoró las cosas. Como si un asistente muy confiado pero poco informado intentara corregir a un cirujano experto y terminara cortando el dedo equivocado.

La metáfora: Imagina que tienes un detective experto (el algoritmo clásico) que ha estudiado miles de casos. Luego llega un novato muy elocuente (la IA) que sabe mucho vocabulario pero poca experiencia real. El novato intenta ayudar al detective, pero solo lo confunde. El detective experto sigue siendo el mejor.

3. ¿Por qué importa esto?

El artículo nos enseña dos lecciones vitales:

1. No todo lo que brilla es oro: Las IAs generativas son increíbles para crear ideas, pero en tareas científicas muy específicas y costosas (como buscar medicamentos), la simplicidad y la experiencia previa (datos entrenados) ganan a la "intuición" de la IA.
2. Necesitamos mejores reglas: Antes de confiar ciegamente en una IA para salvar vidas o gastar millones de dólares, necesitamos herramientas como este nuevo "termómetro" (BSDS) que nos digan la verdad, considerando el dinero y los errores, no solo si la IA "suena" convincente.

En resumen:
Los autores crearon una regla matemática infalible para medir quién encuentra los mejores medicamentos con el menor presupuesto. Al usarla, descubrieron que, por ahora, las IAs más famosas no son mejores que los métodos tradicionales para esta tarea específica. A veces, lo viejo y probado sigue siendo el rey, y las nuevas herramientas necesitan más entrenamiento antes de tomar el mando.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español:

Resumen Técnico: Marco de Puntuación de Descubrimiento Sensible al Presupuesto (BSDS)

1. Planteamiento del Problema

El descubrimiento científico, especialmente en áreas como el diseño de fármacos y la seguridad de vehículos autónomos, depende cada vez más de sistemas de IA para seleccionar candidatos costosos para validación experimental. Sin embargo, existe una brecha crítica en la evaluación de estas estrategias de selección:

• Falta de métricas presupuestarias: Las métricas estándar (AUROC, F1, Factores de Enriquecimiento) integran el rendimiento sobre todos los puntos de operación, ocultando el desempeño real en el presupuesto específico donde se toman las decisiones.
• Costos asimétricos: En la práctica, un falso positivo (gastar un recurso experimental en un compuesto inactivo) tiene un costo cuantificable alto, mientras que un falso negativo (perder un compuesto activo) es un costo de oportunidad difícil de cuantificar.
• Evaluación de LLMs: Los Modelos de Lenguaje Grande (LLMs) generan propuestas científicas plausibles, pero no existe un marco riguroso para determinar si añaden valor marginal sobre modelos de aprendizaje automático (ML) existentes o si simplemente introducen "alucinaciones" (falsos positivos).
• Falta de garantías formales: No existen métricas con verificación formal para asegurar que las evaluaciones sean robustas frente a la manipulación de parámetros o la selección de presupuestos favorables ("cherry-picking").

2. Metodología y Marco Propuesto

2.1. BSDS y DQS (Puntuación de Calidad de Descubrimiento)

Los autores introducen el Puntaje de Descubrimiento Sensible al Presupuesto (BSDS) y su forma promediada, el Puntaje de Calidad de Descubrimiento (DQS).

• Definición Formal: BSDS penaliza conjuntamente los falsos descubrimientos (Tasa de Falsos Positivos ponderada por $\lambda$) y la abstención excesiva (brecha de cobertura ponderada por $\gamma$) en cada nivel de presupuesto.
  • $BSDS(B) = HR@B - \lambda \cdot FDR@B - \gamma \cdot (1 - Cov@B)$
  • Donde $HR$ es la tasa de recuperación (recall), $FDR$ es la tasa de falsos descubrimientos y $Cov$ es la cobertura (fracción de candidatos con decisión definitiva).
• Verificación Formal: El marco se basa en 20 teoremas verificados mediante máquina utilizando el asistente de pruebas Lean 4. Esto garantiza propiedades matemáticas como acotación, monotonicidad, dominancia del oráculo y optimalidad bayesiana de la abstención.
• DQS: Promedia el BSDS a través de un espectro completo de presupuestos, evitando que un proponente obtenga una puntuación alta simplemente eligiendo un presupuesto específico donde funcione bien.

2.2. Configuración Experimental

• Datos: Se evaluó el marco en el conjunto de datos MoleculeNet HIV (41,127 compuestos, 3.5% activos) y se validó la generalización en otros conjuntos (Tox21, ClinTox, MUV-466, SIDER) y en un dominio no farmacéutico (Seguridad de Vehículos Autónomos).
• Proponentes Evaluados: Se compararon 39 estrategias diferentes:
  • Línea base: Selección aleatoria y "Greedy-ML" (clasificación por un Random Forest pre-entrenado).
  • Variaciones Mecánicas: Estrategias de recuperación (RAG simulado), priores informativos, generación estocástica y ensamblajes.
  • Optimización Directa: Variantes de MLP (Redes Neuronales) que intentan optimizar directamente la función de pérdida BSDS (BSDS-Recursive).
  • LLMs: 7 modelos de lenguaje (ChatGPT-5.2, Claude, Gemini, DeepSeek, Qwen, Llama, GLM) evaluados en modo Zero-shot (solo SMILES) y Few-shot (con ejemplos), tanto en modo directo como de reordenamiento (reranking) de las predicciones del ML.
• Método: Se utilizaron 1,000 réplicas de bootstrap y divisiones de validación cruzada aleatorias y basadas en andamios (scaffold splits) para garantizar la robustez estadística.

3. Contribuciones Clave

1. Marco de Evaluación Verificado Formalmente: Presentación de BSDS/DQS como la primera métrica de evaluación para selección de candidatos con garantías matemáticas formales (Lean 4) que incorpora restricciones de presupuesto y costos asimétricos.
2. Evaluación Exhaustiva de Proposiciones: La comparación más amplia hasta la fecha de estrategias de descubrimiento asistido por IA, incluyendo 28 configuraciones de LLMs y múltiples variantes de ML, superando la brecha entre la generación de propuestas y la validación experimental.
3. Análisis de Valor Marginal de los LLMs: Un estudio riguroso para determinar si los LLMs aportan valor adicional sobre un modelo de ML entrenado existente (el escenario de despliegue realista), en lugar de intentar reemplazarlo desde cero.
4. Descubrimiento de Trade-offs Ocultos: Demostración de que métricas estándar (como EF o AUROC) pueden ser ciegas a las compensaciones entre precisión, recuperación y abstención que BSDS captura.

4. Resultados Principales

4.1. El Modelo Simple Gana (Greedy-ML)

• La estrategia más simple, Greedy-ML (clasificar compuestos por la probabilidad predicha por un Random Forest entrenado en huellas dactilares ECFP4), obtuvo el mejor DQS (-0.046).
• Fallo de las capas de reordenamiento: Añadir capas de MLP para reordenar las predicciones del RF degradó el rendimiento en lugar de mejorarlas. Las variantes de MLP (BSDS-Recursive, Greedy-MLP-NN) obtuvieron puntuaciones significativamente peores que la línea base simple.
• Simulación de Despliegue: A un presupuesto de 50 compuestos, Greedy-ML logró una tasa de aciertos del 96%, frente al 78% de la mejor variante MLP y el 62% de la optimización recursiva.

4.2. Los LLMs No Añaden Valor Marginal

• Zero-Shot: Ningún LLM en modo directo (solo SMILES) superó a la línea base aleatoria o al modelo RF. De hecho, algunos modelos (como Qwen3-235B) performaron peor que el azar, indicando que la notación SMILES sola no es suficiente para que los LLMs realicen un razonamiento estructura-actividad fiable en este contexto.
• Few-Shot y Reranking: Aunque proporcionar ejemplos (few-shot) o permitir que el LLM reordene las predicciones del RF mejoró el rendimiento de los LLMs, ninguna configuración de LLM superó a Greedy-ML. El mejor reordenador de LLM (Qwen3-235B) quedó 0.095 puntos por debajo del RF.
• Conclusión: Los LLMs actuales no aportan señal ortogonal significativa sobre un clasificador entrenado en datos reales; más bien, introducen ruido en la clasificación discriminativa del modelo.

4.3. Generalización y Robustez

• Cruce de Conjuntos de Datos: La jerarquía de proponentes (Greedy-ML > Reranking > LLMs directos) se mantuvo consistente en cinco conjuntos de datos de MoleculeNet con prevalencias extremas (0.18% a 46.2%) y en el dominio de seguridad de vehículos autónomos.
• Sensibilidad a Parámetros: El ranking de los proponentes es robusto frente a cambios en los parámetros de penalización ($\lambda$ y $\gamma$), con una correlación de Kendall $\tau \ge 0.636$ en una cuadrícula de 63 combinaciones de parámetros.
• Métricas Ocultas: BSDS/DQS distinguieron entre 7 proponentes que tenían valores idénticos de Factores de Enriquecimiento (EF) y AUROC, revelando diferencias críticas en la eficiencia del presupuesto que las métricas tradicionales no capturan.

5. Significado e Implicaciones

• Validación de la Evaluación Formal: El uso de Lean 4 asegura que la métrica es correcta por construcción, lo cual es crucial al evaluar modelos de caja negra como los LLMs donde el comportamiento es impredecible.
• Realismo en el Despliegue: El estudio desafía la narrativa de que los LLMs son superiores por defecto en tareas científicas. Muestra que, en escenarios de descubrimiento con recursos limitados y datos de entrenamiento disponibles, los modelos de ML tradicionales y bien calibrados siguen siendo superiores a los LLMs de propósito general.
• Guía para la Industria: Proporciona un marco para que las empresas farmacéuticas y de investigación evalúen objetivamente si invertir en LLMs para la selección de candidatos es rentable o si deberían centrarse en mejorar los modelos de ML existentes y la calidad de los datos.
• Futuro: Sugiere que para que los LLMs sean útiles en este dominio, se necesitarán estrategias avanzadas como razonamiento de cadena de pensamiento (CoT), generación aumentada por recuperación (RAG) con bases de datos químicas específicas, o uso de herramientas (simuladores de acoplamiento), en lugar de solo prompting directo.

En resumen, el paper establece un nuevo estándar de oro para la evaluación de sistemas de descubrimiento asistido por IA, demostrando mediante verificación formal y experimentación rigurosa que, actualmente, los LLMs no superan a los clasificadores de ML tradicionales en la selección de candidatos bajo restricciones de presupuesto.