Resumen Técnico: Distribird

1. Declaración del Problema

La calibración bayesiana de modelos basados en procesos (por ejemplo, en agricultura, hidrología o epidemiología) requiere la especificación de una distribución a priori para cada parámetro del modelo. Los priors informativos —derivados de la literatura científica— son estadísticamente superiores a los priors uniformes no informativos, pero rara vez se utilizan en la práctica. La barrera no es la falta de conocimiento, sino el costo prohibitivo de recopilar, leer y sintetizar manualmente décadas de literatura para construir estos priors.

Los Modelos de Lenguaje de Gran Escala (LLM) recientes ofrecen una solución potencial al automatizar la búsqueda y síntesis de literatura. Sin embargo, el uso de prompts directos a los LLM para generar priors introduce fallos críticos para los flujos de trabajo científicos:

• Falta de trazabilidad: Los LLM suelen generar priors con gran confianza sin citar fuentes, lo que hace imposible la verificación.
• Alucinación: Los modelos pueden fabricar priors para parámetros no empíricos (por ejemplo, constantes de ajuste de software) o errores tipográficos.
• Privacidad de datos: Los LLM basados en la nube requieren transmitir descripciones de parámetros y detalles de modelos no publicados a terceros.

El problema central es la ausencia de una herramienta escalable, confiable y totalmente local que automatice la construcción de priors basada en la literatura, manteniendo la plena procedencia y rechazando solicitudes fuera de alcance.

2. Metodología: El Sistema Distribird

Distribird es una aplicación web agéntica y una biblioteca de Python diseñada para automatizar la construcción de priors informados por la literatura. Opera enteramente en hardware local utilizando modelos de pesos abiertos, asegurando que ningún dato salga de la máquina del investigador.

2.1 Arquitectura Central

El sistema está construido sobre un flujo de trabajo de múltiples agentes mediante LangGraph que orquesta un proceso con estados, tres bucles de retroalimentación y enrutamiento condicional. El flujo procesa un ParameterInput (nombre, descripción, unidad, contexto de dominio y límites físicos) a través de las siguientes etapas:

1. Enriquecimiento y Verificación de Validez:

   • El sistema primero intenta reconocer el parámetro. Si el LLM no reconoce el nombre o determina que la cantidad es no empírica (por ejemplo, una variable latente), activa un mecanismo de Salto Temprano (Early-Skip).
   • Esto evita las fases costosas de búsqueda y extracción (ahorrando entre el 80 y 95% del tiempo de ejecución) y clasifica la solicitud como Likely_Invalid (Probablemente Inválida) o Suspicious (Sospechosa), evitando la generación de priors infundados.

2. Estrategia de Búsqueda Progresiva:

   • Planificación de Alcance: Un nodo clasifica la especificidad de la solicitud (alta, media, baja) para determinar una amplitud de búsqueda inicial (estricta, mixta o amplia).
   • Búsqueda en Paralelo: El sistema consulta Semantic Scholar y OpenAlex en paralelo para obtener artículos de acceso abierto. Agentes opcionales pueden realizar búsquedas profundas en la web, con resultados verificados de forma cruzada para evitar citas alucinadas.
   • Ampliación de Dominio (Bucle B): Si la búsqueda estricta inicial arroja valores relevantes insuficientes, el sistema amplía automáticamente el alcance de la búsqueda (por ejemplo, de "maíz en Europa Central" a "maíz globalmente") y vuelve a ejecutar la búsqueda, acumulando evidencia en lugar de descartar los resultados previos.

3. Recuperación de Texto Completo y Extracción:

   • Recuperación Escalonada: El sistema intenta recuperar textos completos mediante una cascada de fuentes (resolutores de URL, espejos de acceso abierto, conversores de DOI) antes de recurrir a un navegador de sigilo opcional y pesado (Camoufox) para contenido con muro de pago (paywall).
   • Preservación de Estructura: Los PDF se convierten a Markdown para preservar las estructuras de las tablas, asegurando que los valores numéricos se extraigan con sus unidades y etiquetas de fila/columna intactas.
   • Extracción: El LLM extrae los valores numéricos del texto completo.

4. Síntesis Consciente de la Relevancia:

   • Juicio de Relevancia: Cada valor extraído es calificado por un LLM según su relevancia de dominio (Alta, Media, Baja).
   • Control de Calidad: El flujo de trabajo evalúa la cantidad y calidad de los valores extraídos. Si la evidencia es escasa, activa la Refinación de Búsqueda (Bucle A) o la Refinación de Extracción (Bucle C) para encontrar mejores datos.
   • Ajuste de Distribución:
     • ≥5 Valores: Ajusta cinco distribuciones candidatas (Normal, Normal Truncada, Gamma, Log-Normal, Beta) y selecciona la mejor mediante el Criterio de Información de Akaike (AIC).
     • 2–4 Valores: Utiliza el método de momentos con una desviación estándar ampliada para evitar el sobreajuste (overfitting).
     • 1 Valor: Centra una Normal Truncada en el valor con una incertidumbre derivada de la fuente.
     • 0 Valores: Recurre a una Normal Truncada amplia y no informativa.
   • Ponderación: Los valores se ponderan por tamaño de muestra y puntuación de relevancia (Alta=1.0, Media=0.6, Baja=0.25).

5. Salida y Procedencia:

   • El sistema devuelve un PipelineResult que contiene la distribución ajustada, el nivel de confianza y una cadena completa de procedencia (consultas de búsqueda, artículos recuperados, valores extraídos y la lógica del ajuste).
   • Los formatos incluyen JSON, código Python ejecutable (SciPy) y scripts de R.

2.2 Restricciones Técnicas

• Ejecución Local: Todas las llamadas a LLM utilizan modelos de pesos abiertos (Qwen3.6 27B, Gemma 4 31B, Mistral Small 4 119B) cuantizados para ejecución local en GPU (por ejemplo, NVIDIA H100).
• Control de Presupuesto: Un IterationBudget limita el total de llamadas a LLM (por defecto 30) para asegurar la terminación.
• Reproducibilidad: Semillas fijas y configuraciones de temperatura específicas para cada tarea aseguran salidas deterministas para la misma entrada.

3. Principales Contribuciones

1. Priors Automatizados Informados por la Literatura: Distribird es un sistema que automatiza completamente el flujo desde la descripción del parámetro hasta una distribución de probabilidad ajustada usando literatura científica, enfocándose específicamente en modelos basados en procesos.
2. Salvaguardas de Validez: A diferencia de los LLM estándar, Distribird detecta y rechaza explícitamente las solicitudes fuera de alcance (errores tipográficos, parámetros no empíricos) mediante un mecanismo de salto temprano y un clasificador de validez terminal, evitando la generación de priors "confiantes pero infundados".
3. Procedencia Completa: Cada prior es trazable a artículos específicos y valores extraídos. El sistema exporta un rastro de auditoría completo, abordando la naturaleza de "caja negra" de la ciencia generada por LLM.
4. Operación Local y Preservación de la Privacidad: Todo el flujo de trabajo se ejecuta en hardware local con modelos de pesos abiertos, asegurando que los detalles de modelos no publicados nunca se transmitan a proveedores externos.
5. Lógica de Búsqueda Progresiva: El sistema ajusta dinámicamente la amplitud de la búsqueda basándose en la evidencia inicial, equilibrando la necesidad de especificidad con la de encontrar suficientes datos.

4. Resultados de la Evaluación

Los autores evaluaron Distribird en 24 parámetros a través de diez dominios científicos utilizando tres modelos locales de pesos abiertos, comparando el flujo completo contra un modelo base de un solo prompt (una solicitud directa de un prior sin búsqueda de literatura).

• Calidad del Prior (Exactitud): El flujo completo igualó al modelo base de un solo prompt en términos de exactitud de la estimación puntual, pero no lo superó. Los autores señalan que esto es de esperar, ya que ambos métodos dependen finalmente de la misma base de conocimiento (los datos de entrenamiento del LLM frente a la literatura que este recupera).
• Robustez ante Alucinaciones: El flujo completo declinó con éxito la producción de priors para todos los cinco parámetros de prueba fuera de alcance (fabricados o no empíricos). En contraste, el modelo base de un solo prompt generó priors confiados e infundados para estos parámetros en 11 de los 30 casos de modelo-parámetro.
• Trazabilidad: Cada prior producido por Distribird estaba vinculado a fuentes específicas, mientras que el modelo base devolvió priors sin una base trazable.
• Operación Local: El sistema se ejecutó exitosamente de forma íntegra en hardware local sin transmitir datos sensibles.

5. Significación y Reivindicaciones

El artículo argumenta que para los flujos de trabajo científicos, la procedencia, la robustez contra la fabricación y la privacidad de los datos son más críticas que las mejoras marginales en la exactitud de la estimación puntual.

Distribird no pretende ser un estimador "más inteligente" que un LLM con un prompt bien diseñado. En su lugar, pretende ser una herramienta confiable. Su importancia radica en hacer que la construcción de priors informados por la literatura sea:

• Escalable: Automatizando un proceso que antes requería días de lectura manual.
• Auditable: Proporcionando una cadena de evidencia defendible para cada prior.
• Segura: Evitando el uso de priors para parámetros que carecen de soporte empírico.
• Privada: Permitiendo el uso de detalles de modelos propietarios o no publicados sin exponerlos a proveedores de IA externos.

Los autores concluyen que estas propiedades hacen que Distribird sea adecuado para el trabajo científico serio, donde la capacidad de verificar y defender un prior es un requisito previo para su uso.