Distribird: Literature-Informed Prior Distribution Design for Bayesian Model Calibration

Resumen Técnico: Distribird – Diseño de Distribuciones Previas Informadas por la Literatura para la Calibración de Modelos Bayesianos

Planteamiento del Problema
La calibración bayesiana de modelos basados en procesos requiere especificar una distribución previa para cada parámetro del modelo. Si bien las distribuciones previas informativas (derivadas del conocimiento científico existente) mejoran la convergencia, reducen la incertidumbre y estabilizan las posteriores, los investigadores suelen recurrir por defecto a distribuciones uniformes no informativas. La barrera principal para construir distribuciones previas informativas es el alto costo de recopilar, sintetizar y validar manualmente datos de la literatura científica. Los Modelos de Lenguaje de Gran Escala (LLM) recientes ofrecen una solución potencial al automatizar la búsqueda y síntesis de literatura; sin embargo, el uso de prompts directos a los LLM para generar distribuciones previas introduce riesgos críticos: la generación de distribuciones seguras pero infundadas (alucinaciones) para parámetros inexistentes, la falta de evidencia trazable (procedencia) y la incapacidad de distinguir entre cantidades empíricas y constantes de ajuste específicas de un software.

Metodología
Los autores presentan Distribird, una aplicación web agéntica y una biblioteca de Python diseñada para automatizar la construcción de distribuciones previas informadas por la literatura, garantizando la auditabilidad y la robustez. El sistema opera con modelos de pesos abiertos ejecutados en hardware local, lo que asegura que ningún detalle de modelado no publicado o datos propietarios se transmitan a proveedores externos.

El núcleo de Distribird es un pipeline de LangGraph multi-agente que orquesta un flujo de trabajo complejo con tres bucles de retroalimentación y una ruta de avance condicional:

1. Entrada y Enriquecimiento: El sistema acepta un nombre de parámetro, descripción física, unidad y contexto de dominio. Un nodo inicial de "Enriquecimiento" expande la semántica, seguido de una "Verificación de Validez" que puede activar un "salto temprano" (early-skip) para parámetros no reconocidos o no empíricos, ahorrando recursos computacionales significativos.
2. Estrategia de Búsqueda Progresiva: Un nodo de "Estrategia de Búsqueda" clasifica la especificidad de la solicitud (Alta, Media, Baja) para determinar una amplitud de búsqueda inicial. El pipeline emplea un bucle de ampliación de dominio (Bucle B): si las búsquedas iniciales arrojan valores relevantes insuficientes, el sistema amplía automáticamente el alcance de la búsqueda (por ejemplo, de condiciones de cultivo específicas a rasgos generales de especies) y regenera las consultas, acumulando evidencia a través de distintos niveles en lugar de descartarla.
3. Recuperación y Extracción Multi-Agente: El sistema consulta APIs académicas (Semantic Scholar, OpenAlex) y agentes opcionales de búsqueda web. Los artículos recuperados se someten a un juicio de relevancia para puntuar la adecuación al dominio. Un nodo de "CrossEnrich" realiza un rastreo de citas (citation snowballing) si se encuentran artículos de alta relevancia. La recuperación de texto completo utiliza una cascada optimizada en costos (desde PDFs de acceso abierto hasta navegadores sigilosos) para extraer valores numéricos.
4. Puerta de Calidad y Refinamiento: Los valores extraídos son filtrados. Si faltan valores o la confianza es baja, el pipeline activa el refinamiento de búsqueda (Bucle A) o el refinamiento de extracción (Bucle C) para localizar mejor evidencia.
5. Síntesis y Ajuste: El sistema ajusta distribuciones de probabilidad a los valores extraídos.
   • ≥5 valores: Utiliza el Criterio de Información de Akaike (AIC) para seleccionar la mejor familia (Normal, Normal Truncada, Gamma, Log-Normal, Beta).
   • 2–4 valores: Utiliza el método de momentos con una desviación estándar ampliada.
   • 1 valor: Centra una Normal Truncada en el valor con una incertidumbre derivada de la fuente.
   • 0 valores: Recurre a una Normal Truncada amplia y no informativa.
   • Síntesis consciente de la relevancia: Los valores se ponderan según su relevancia de dominio (Alta/Media/Baja), y el nivel de confianza final está limitado por la relevancia de la evidencia de soporte.

Contribuciones Clave

• Construcción de Distribuciones Previas Automatizada y Trazable: Distribird produce distribuciones previas donde cada valor está vinculado a artículos citados específicos, lo que permite una auditabilidad total.
• Robustez contra Alucinaciones: El sistema incluye una capa de clasificación de validez que detecta solicitudes fuera de alcance (nombres fabricados, constantes de ajuste no empíricas) y se niega a producir una distribución previa, mientras que los LLM de un solo prompt suelen generar distribuciones informativas y seguras para tales entradas.
• Operación Local con Pesos Abiertos: Todo el pipeline se ejecuta en hardware local utilizando modelos de pesos abiertos (ej. Gemma, Mistral, Qwen), abordando las preocupaciones de privacidad respecto a la transmisión de datos de investigación a proveedores de nube comerciales.
• Mecanismo de Búsqueda Progresiva: El sistema ajusta dinámicamente la amplitud de la búsqueda basándose en la suficiencia de la evidencia, equilibrando la especificidad con la necesidad de reunir suficientes datos para el ajuste estadístico.

Resultados
Los autores evaluaron Distribird en 24 parámetros a través de 10 dominios científicos (incluyendo clima, farmacocinética, hidrología y ecología) utilizando modelos locales de pesos abiertos.

• Calidad de la Previa: En términos de precisión de la estimación puntual (colocación de la moda de la previa respecto al óptimo de los datos), el pipeline completo de Distribird se desempeñó de manera comparable a un modelo base de un solo prompt. En un subconjunto de parámetros "justos" (excluyendo artefactos sintéticos), Distribird alcanzó precisiones medias del 83–84%, estadísticamente indistinguibles tanto del modelo base local como de los modelos insignia en la nube (GPT-5.5, Gemini, Claude).
• Detección de Fuera de Alcance: El sistema marcó con éxito todos los casos de prueba fabricados o no empíricos como inválidos o sospechosos, negándose a generar distribuciones previas para ellos. En contraste, el modelo base de un solo prompt generó distribuciones previas informativas y seguras para parámetros fabricados en 11 de 30 casos de modelo-parámetro.
• Costo Computacional: El pipeline completo es computacionalmente costoso, consumiendo aproximadamente 1.2 millones de tokens y de 20 a 40 minutos por parámetro en hardware local debido a la recuperación de texto completo y la deliberación de múltiples pasos. Sin embargo, el mecanismo de salto temprano reduce este costo en un 80–95% para solicitudes fuera de alcance.
• Eficiencia de Muestreo: Tanto las previas de Distribird como las de un solo prompt mejoraron el Tamaño de Muestra Efectivo (ESS) respecto a las previas planas en aproximadamente la mitad de los casos, sin diferencias significativas de rendimiento entre ambos enfoques.

Significancia y Reivindicaciones
El artículo establece explícitamente que Distribird no pretende producir distribuciones previas más precisas que un LLM con un prompt bien diseñado; de hecho, es significativamente más costoso de ejecutar. Su contribución principal es la confiabilidad en lugar de ganancias marginales en precisión.

La importancia de Distribird radica en su idoneidad para flujos de trabajo científicos donde:

1. Se requiere defensa: Cada distribución previa debe ser trazable a la literatura específica.
2. La robustez es crítica: El sistema no debe inventar evidencia para parámetros inexistentes.
3. La privacidad es primordial: Los investigadores requieren la capacidad de ejecutar inferencia local sin transmitir detalles de modelos no publicados a proveedores comerciales.

Los autores concluyen que, si bien un solo llamado a un LLM es una opción más barata y comparativamente precisa para usos informales, Distribird proporciona las propiedades necesarias (procedencia, rechazo de solicitudes fuera de alcance, operación local) para hacer viable la construcción automatizada de distribuciones previas para la práctica científica rigurosa. La herramienta está diseñada específicamente para modelos basados en procesos con parámetros físicamente interpretables reportados en la literatura activa, degradándose de forma controlada hacia alternativas no informativas cuando estas condiciones no se cumplen.