Ontology-constrained multi-LLM scoring of hypothesis support in the predictive processing literature

Resumen Técnico: Calificación de soporte de hipótesis mediante múltiples LLM con restricciones ontológicas en la literatura de procesamiento predictivo

Declaración del Problema
Campos interdisciplinarios como la neurociencia del codificación predictiva enfrentan un "problema de fragmentación". La literatura abarca teoría computacional, electrofisiología, imagenología y comportamiento, a menudo entrelazando formalismos matemáticos con fundamentos filosóficos dentro de una misma publicación. Esta heterogeneidad crea un cuello de botella para la síntesis: el metaanálisis convencional tiene dificultades para escalar porque requiere un espacio de comparación unificado y paradigmas idénticos, los cuales suelen estar ausentes en este dominio. Las revisiones cualitativas, aunque valiosas, requieren mucha mano de obra, son difíciles de auditar y no logran comprimir datos heterogéneos en variables cuantitativas comparables. Además, la terminología dentro de la codificación predictiva (por ejemplo, predicción, error, sorpresa) se utiliza de manera inconsistente entre subcampos, lo que complica la identificación del soporte empírico para hipótesis específicas.

Metodología
Los autores proponen un pipeline local de múltiples LLM diseñado para la síntesis de literatura con restricciones ontológicas. El sistema opera a través de los siguientes pasos:

1. Marco Ontológico: Se definió manualmente un glosario canónico de 36 factores, agrupados en tres hipótesis centrales:

   • H1 (Supresión Predictiva): Los inputs esperados son suprimidos o refinados.
   • H2 (Propagación de Error Feedforward): Los desajustes no predichos se propagan hacia adelante a través de las jerarquías corticales.
   • H3 (Ubicuidad): La codificación predictiva es un algoritmo cortical universal.
     Estos factores están además restringidos por alcances de contexto (Oddball Local vs. Oddball Global).

2. Ingestión y Procesamiento de Datos:

   • Cuerpo de trabajo: 31 estudios (teóricos, neurofisiológicos, de imagenología y de modelado) que abarcan desde 1982 hasta 2025.
   • Extracción Multimodal: El texto se analiza de forma determinista, y las figuras son analizadas mediante un Modelo de Lenguaje-Visión local (VLM, gemma-3-9b-it) para extraer tendencias estadísticas y evidencia visual, las cuales se intercalan en el texto del estudio.
   • Ingeniería de Prompts: Una capa de instrucción guía a los modelos para actuar como neurocientíficos, calificando cada factor en una escala de -1 (contradicción) a +1 (acuerdo), con 0 para resultados neutrales y null para factores no abordados. Crucialmente, los modelos deben proporcionar un registro de razonamiento auditable citando texto o figuras específicas para las puntuaciones no nulas.

3. Consejo Multi-Agente: Diez modelos de lenguaje (LLM) locales independientes se ejecutan en paralelo para calificar el corpus. Este enfoque de "consejo" permite medir el desacuerdo entre modelos y reducir la influencia de los sesgos o puntos ciegos específicos de cada modelo individual.

4. Métricas Cuantitativas:

   • Consistencia del Agente (AC): Mide la diferencia cuadrática media (MSD) entre modelos para evaluar el acuerdo inter-modelo.
   • Consistencia de la Literatura (LC): Mide la MSD entre estudios para identificar puntos de consenso central o valores atípicos (outliers).
   • Temperatura del Espacio de Hipótesis ($T_H$): Una métrica geométrica novedosa definida como el volumen del elipsoide envolvente mínimo de los puntos de estudio dividido por el número de puntos ($V_{env}/n$). Una temperatura baja indica una literatura compacta y consensuada; una temperatura alta indica dispersión y desacuerdo teórico.
   • Análisis de Vectores: Calcula el desplazamiento direccional de los estudios entre contextos de Oddball Local y Global.

Resultados Clave

• Soporte Dependiente del Contexto: El consejo encontró un alto acuerdo para H1 y H2 en contextos de Oddball Local (Puntuación media ~0.46–0.51). Sin embargo, el soporte disminuyó significativamente para los contextos de Oddball Global en todas las hipótesis, observándose el declive más pronunciado en H2 (Propagación de Error Feedforward, un cambio de -0.158).
• Hipótesis de Ubicuidad (H3): Esta hipótesis recibió el acuerdo más bajo en general (Media = 0.23), lo que sugiere evidencia limitada en la literatura para mecanismos de codificación predictiva que se generalicen ampliamente por el cerebro.
• Consistencia de los Modelos: Los 10 modelos mostraron un alto acuerdo interno (Media AC = 0.11), significativamente menor que las líneas base de permutación aleatoria (0.67), lo que indica que el pipeline produce puntuaciones estables y reproducibles.
• Geometría de la Literatura:
  • Contexto Local: Los estudios se agruparon en una región compacta del espacio de hipótesis 3D, indicando un fuerte consenso.
  • Contexto Global: La literatura se volvió más dispersa. La "Temperatura del Espacio de Hipótesis" fue significativamente mayor para los Oddballs Globales (0.00348) en comparación con los Oddballs Locales (0.00114), incluso excluyendo valores atípicos.
  • Detección de Outliers: El estudio de Westerberg, Xiong, et al. (2025) fue identificado como un valor atípico geométrico, particularmente en el contexto de Oddball Global, mostrando una fuerte divergencia de las tendencias dominantes de la literatura.
• Desplazamientos Vectoriales: El movimiento vectorial promedio de Local a Global apuntó alejándose del octante (+1, +1, +1), confirmando visualmente que la literatura apoya la codificación predictiva más fuertemente en contextos sensoriales locales que en contextos globales basados en reglas.

Significancia y Reivindicaciones
El artículo sostiene que los consejos locales de múltiples LLM pueden producir mediciones de desacuerdo auditables que mapean literaturas científicas heterogéneas en espacios de evidencia cuantitativa. Al restringir los modelos con un glosario experto y requerir registros de razonamiento basados en evidencia, el marco transforma las revisiones de literatura cualitativas en una "constelación geométrica" de soporte científico.

Los autores argumentan que este enfoque aborda las limitaciones de escalabilidad de la síntesis manual y las limitaciones de espacio de comparación de la metaanálisis tradicional. El marco permite:

1. Cartografía Cuantitativa: Traducir debates científicos abstractos en variables medibles (por ejemplo, temperatura, vectores).
2. Identificación de Outliers: Identificar geométricamente los estudios que divergen de las hipótesis establecidas.
3. Replicabilidad: Proporcionar un pipeline de ejecución local transparente donde los archivos intermedios, los prompts y los registros de razonamiento son inspeccionables, evitando la "caja negra" de las APIs en la nube.

El estudio concluye que, si bien la literatura de codificación predictiva respalda un consenso sobre la supresión predictiva local, exhibe un desacuerdo estructurado respecto a las afirmaciones de ubicidad amplia y la propagación de error feedforward global. El marco se presenta no como un reemplazo para la interpretación experta, sino como una herramienta para comprimir datos heterogéneos en un espacio estructurado donde los cambios teóricos y los valores atípicos empíricos pueden rastrearse objetivamente.