Large-Scale Reproduction of Alzheimer Research on aCommon Dataset Reveals an Information Ceiling on theField’s Evidence

Resumen Técnico: Reproducción a Gran Escala de la Investigación sobre el Alzheimer en un Conjunto de Datos Común

1. El Problema

Los campos científicos suelen acumular un vasto número de afirmaciones publicadas que son difíciles de sintetizar o comparar directamente. En la investigación de la enfermedad de Alzheimer (EA), decenas de miles de publicaciones proponen hipótesis competitivas (por ejemplo, amiloide, tau, vascular, neuroinflamación) con respecto a los mecanismos de la enfermedad. Sin embargo, los esfuerzos de replicación estándar están limitados por la escala y la metodología:

• Escalabilidad: La replicación manual no puede seguir el ritmo de campos que producen cientos de miles de afirmaciones.
• Comparabilidad: Los metaanálisis agregan estimaciones, pero no logran que las hipótesis rivales sean directamente comparables cuando dichas estimaciones se originan de diferentes conjuntos de datos, protocolos y condiciones analíticas.
• Brecha de Adjudicación: Un campo puede reproducir el rendimiento predictivo de un modelo (por ejemplo, el AUC) en un conjunto de datos común, pero aun así fallar en determinar si el sustrato subycente contiene información suficiente para distinguir entre hipótesis competitivas. El artículo sostiene que la "reproducción" (predecir el resultado) es distinta de la "adjudicación" (distinguir entre reclamos causales rivales).

2. Metodología: Agregación de Hipótesis Mediante IA (AHA)

Los autores introducen AHA, un instrumento supervisado y gobernado por humanos diseñado para convertir una literatura en un relato comprobable de lo que su evidencia puede y no puede distinguir. AHA opera en tres fases utilizando una arquitectura de dos capas estrictamente separadas:

• Capa 1: Interpretativa (Extracción por LLM)

  • Utiliza un LLM alojado (Llama-70B) confinado estrictamente a la extracción de reclamos de mecanismo–resultado a partir de la literatura de revisión.
  • El LLM no tiene permitido generar conclusiones numéricas.
  • Los resultados se armonizan en "campos" (grupos de hipótesis) y se mapean a firmas ejecutables.

• Capa 2: Cuantitativa (IA/ML Determinista)

  • Utiliza cinco clases de modelos base (gradient boosting, random forest, multilayer perceptron, logistic regression, XGBoost) y un modelo de ensamble.
  • Reinstancia los reclamos extraídos en un sustrato común (ADNI) bajo un protocolo emparejado.
  • Calcula diagnósticos de discriminación, incertidumbre y suficiencia de información.

Las Tres Fases de Ejecución:

1. Fase 1 (Reproducción): Reconstruye los campos de hipótesis, mapea sus firmas ejecutables y reproduce los reclamos de forma estática y dinámica en el sustrato común para verificar si el rendimiento predictivo reportado puede replicarse a escala.
2. Fase 2 (Auditoría de Suficiencia de Información): Aplica métricas no paramétricas, previas al modelo, para determinar si el sustrato común contiene suficiente información para adjudicar las hipótesis. Esto se basa en el lema de Neyman–Pearson y las desigualdades de procesamiento de datos, que dictan que ningún modelo puede extraer más discriminación de la información presente en el sustrato mismo.
3. Fase 3 (Análisis de Comportamiento): Compara la evidencia reproducida contra los patrones de publicación y citación del campo para identificar el desacoplamiento entre la atención y el soporte de evidencia.

Métricas Clave Introducidas:

• Índice de Hecho Consumado (FAI - Fait-Accompli Index): Mide si la discriminación es impulsada por el estado acumulado (nivel) en lugar de la trayectoria viva (pendiente). Un FAI alto indica que la señal se observa después del evento de transición.
• No Identificabilidad Local (PBR): Evalúa si los conversores y no conversores son localmente separables.
• Ventaja Predictiva Residual (RPA): Mide el rendimiento del modelo en relación con una línea base de tasa de resultado local libre de filtraciones (leakage-free).
• Información Mutua (I): Cuantifica cuánta entropía del resultado resuelve el sustrato.

3. Contribuciones Clave y Resultados

El estudio se aplicó a 95,756 publicaciones (2005–2025), aislando 10,884 artículos con datos y recuperando seis campos de hipótesis: Amiloide, Tau, Vascular, Neuroinflamación, Metabólico y Patología LATE/Mixta. El conjunto de datos ADNI fue seleccionado como el sustrato maduro más amplio capaz de portar los seis campos.

Resultados de la Fase 1: Reproducción del Rendimiento

• AHA instanció 204 firmas ejecutables y realizó aproximadamente 1.23 millones de ajustes de modelos.
• Sin un ajuste específico para el Alzheimer, AHA reprodujo el rendimiento predictivo reportado por el campo. El mejor panel multivariante logró un AUC de 0.844, dentro de 0.016 del la mediana reportada en la literatura (0.860).
• Sin embargo, bajo una comparabilidad estricta (un solo marcador canónico por campo), la discriminación se redujo (mediana de AUC 0.682–0.783).
• El "mejor" panel fue idéntico en cuatro campos, y las distribuciones de discriminación se solaparon significativamente (14 de 15 comparaciones por pares). La señal se resolvió mayoritariamente en un único eje de integridad cerebral (PC1 explicando el 51.0% de la varianza).

Resultados de la Fase 2: Insuficiencia de Información

• Hecho Consumado (Fait-Accompli): Para cuatro campos computables (Metabólico, Amiloide, Tau, LATE), el FAI osciló entre 0.878 y 0.955. Esto indica que la discriminación es transportada por niveles acumulados (estados post-transición) en lugar de cambios en la trayectoria viva.
• Bajo Contenido de Información: El sustrato suministró una información mutua mínima sobre la conversión:
  • Metabólico: 0.066 bits (8.3% de la entropía del resultado).
  • Tau: 0.095 bits (10.9%).
  • LATE: 0.106 bits (12.2%).
  • Amiloide: 0.134 bits (15.5%).
  • Todos los campos resolvieron menos del 16% de la entropía del resultado.
• Fallos en la Puerta de Soporte: El campo Vascular falló la puerta de soporte (AUC de nivel 0.408, por debajo del azar), y la Neuroinflamación colapsó debido a la falta de muestreo longitudinal (n=3, 0 conversores).
• Conclusión: Según el límite de Neyman–Pearson, ningún modelo puede exceder la discriminación disponible en el sustrato. Dado que el sustrato es insuficiente en información, el "techo" para distinguir estas hipótesis cae hacia el azar.

Resultados de la Fase 3: Desacoplamiento Citación–Evidencia

• La atención de la investigación divergió drásticamente del soporte de evidencia. El campo de Amiloide representó ~52,706 artículos y ~1.49 millones de citas (aproximadamente 21 veces las publicaciones del campo menos investigado).
• A pesar de la falta de discriminación separable en el sustrato común, la acumulación de citas continuó favoreciendo al Amiloide, indicando que la atención es impulsada por factores ajenos a la superioridad de evidencia con protocolo emparejado (por ejemplo, creencias sobre mecanismos, estructuras de financiamiento).

4. Significado y Reclamos

El artículo establece explícitamente lo que afirma y lo que no:

• Lo que afirma:

  • Reproducción vs. Adjudicación: El rendimiento predictivo reportado por el campo puede reproducirse a escala en un sustrato común, pero esta reproducción no constituye una adjudicación. El sustrato ADNI es insuficiente en información para distinguir entre las hipótesis competitivas.
  • Necesidad Metodológica: Los campos requieren instrumentos que no solo reproduzcan reclamos, sino que también auditen si la base de evidencia respalda las comparaciones que se están realizando. AHA proporciona esta capacidad dual.
  • Generalizabilidad: El método no se limita al Alzheimer; una aplicación preliminar a la literatura de IA sugiere que es generalizable.
  • Neutralidad: AHA ni vindica ni condena ningún campo específico de la enfermedad de Alzheimer. Demuestra que el sustrato común actual no puede distinguirlos.

• Lo que NO afirma:

  • No es una adjudicación causal de ninguna hipótesis.
  • No demuestra que el amiloide, la tau u otro campo sean falsos.
  • No afirma que ADNI sea el conjunto de datos definitivo para el Alzheimer; es simplemente el sustrato maduro más amplio que permite la conmensurabilidad.
  • No afirma que el LLM generara resultados numéricos; todos los resultados cuantitativos fueron deterministas.

Conclusión:
El estudio concluye que el campo del Alzheimer trata a las hipótesis como competidoras cuando su sustrato común más amplio no puede distinguirlas. La divergencia en la atención de la investigación no se explica por los datos de evidencia en ADNI, lo que sugiere que la dinámica del campo está impulsada por factores sociológicos e históricos en lugar de una jerarquía clara basada en datos. El "techo de información" revelado por AHA sugiere que, sin un sustrato que contenga información suficiente (por ejemplo, un mejor muestreo longitudinal, etapas más tempranas o diferentes marcadores), ninguna cantidad de complejidad de modelo podrá adjudicar estas teorías en competencia.