Resumen Técnico: Enrutamiento Secuencial Bayesiano Neuronal (NBSR)

1. Declaración del Problema

Las arquitecturas estándar de aprendizaje profundo dependen de cálculos forward estáticos y densos que procesan todas las características de entrada simultáneamente para producir una distribución de probabilidad monolítica. Aunque son efectivas para la precisión semántica, estos modelos sufren tres limitaciones críticas:

1. Falta de Plausibilidad Cognitiva: No logran modelar la naturaleza secuencial y de acumulación de evidencia de la toma de decisiones humana, donde las hipótesis se refinan progresivamente en lugar de evaluarse todas a la vez.
2. Mala Interpretabilidad: La naturaleza de "caja negra" de las redes densas oscurece cómo se adquiere la evidencia y cómo evoluciona la incertidumbre, dificultando la auditoría de decisiones.
3. Ineficiencia y Sobreconfianza: Gastan recursos computacionales innecesarios en entradas fácilmente clasificables y a menudo producen predicciones sobreconfiadas en datos fuera de distribución (OOD) debido a la falta de mecanismos nativos de cuantificación de incertidumbre.

Aunque las arquitecturas de Mezcla de Expertos (MoE) introducen cómputo condicional, generalmente dependen de un enrutamiento suave y continuo que no mantiene un estado de creencia que evolucione temporalmente, ni permiten la acumulación secuencial de evidencia ni la salida dinámica anticipada.

2. Metodología: Enrutamiento Secuencial Bayesiano Neuronal (NBSR)

NBSR es un marco dinámico que modela la inferencia neuronal como un recorrido activo y de acumulación de evidencia sobre un Grafo Acíclico Dirigido (DAG) jerárquico. Unifica la ejecución neuronal condicional, la incertidumbre evidencial y la toma de decisiones secuencial.

Arquitectura Central

• Oráculo de Conocimiento Global: A diferencia de las redes de alimentación directa estándar donde las características se transforman y descartan capa por capa, NBSR incrusta la entrada $x$ una sola vez en un vector de características denso $h_x$ utilizando una columna vertebral compartida. Este vector actúa como un "Oráculo de Conocimiento" persistente que se transmite a todos los nodos del DAG, asegurando que cada decisión tenga acceso al estado contextual completo.
• El Grafo de Decisión: El modelo recorre un DAG donde los nodos representan estados de decisión. En cada nodo $v_t$, una Red de Enrutamiento (MLP) selecciona una trayectoria discreta basada en las características globales $h_x$ y el actual Estado de Creencia Bayesiana $\alpha_t$.
• Extracción de Evidencia: Al llegar a un nodo seleccionado, una Red de Experto local consulta al Oráculo $h_x$ para extraer un vector de evidencia estrictamente positivo $e_t$.
• Actualización de la Creencia Bayesiana: El estado de creencia se actualiza mediante una adición conjugada exacta: $\alpha_{t+1} = \alpha_t + e_t$. Aquí, $\alpha$ representa los parámetros de concentración de una distribución Dirichlet. Los vectores de evidencia $e_t$ actúan como pseudo-conteos bayesianos, actualizando determinísticamente el estado Dirichlet. Este proceso impone matemáticamente el "afilado" de los límites de decisión a medida que se acumula la evidencia.

Mecánicas de Entrenamiento e Inferencia

• Enrutamiento Discreto Diferenciable: Para permitir el entrenamiento de extremo a extremo de la estructura de árbol discreta, NBSR emplea la relajación Gumbel-Softmax acoplada con el Estimador Straight-Through (STE).
  • Paso Forward: El enrutador selecciona una trayectoria dura y única (argmax), asegurando eficiencia computacional al ejecutar solo los nodos visitados.
  • Paso Backward: Los gradientes fluyen a través de la aproximación continua Gumbel-Softmax, permitiendo que el enrutador aprenda la selección óptima de trayectorias sin el problema de desvanecimiento de gradientes de las operaciones discretas.
• Objetivo de Entrenamiento: La función de pérdida combina la Negativa Log-Verosimilitud (NLL) de la expectativa Dirichlet final con un término de penalización de entropía ($\lambda \sum H(\alpha_t)$). Esto fomenta que el modelo no solo maximice la precisión, sino que también reduzca la incertidumbre (entropía) tan rápidamente como sea posible a lo largo de la trayectoria.
• Estrategias de Inferencia:
  • Salida Anticipada: Si la entropía diferencial del estado de creencia $H(\alpha_t)$ cae por debajo de un umbral $\eta$, el recorrido se detiene inmediatamente, ahorrando FLOPs computacionales.
  • Abstención Epistémica: Si la precisión total $\alpha_0$ permanece baja (indicando alta incertidumbre) incluso después del recorrido completo, el modelo se abstiene de predecir, proporcionando un mecanismo de seguridad nativo para entradas OOD.

3. Contribuciones Clave

1. Marco de Enrutamiento Secuencial Bayesiano: Una formulación novedosa donde las decisiones de enrutamiento discretas actualizan secuencialmente un estado de creencia Dirichlet mediante adición conjugada exacta, imponiendo matemáticamente el afilado progresivo de hipótesis.
2. Enrutamiento Duro de Extremo a Extremo: Adaptación del estimador Gumbel-Softmax para entrenar árboles de decisión jerárquicos discretos, previniendo el colapso de representaciones mientras habilita la salida anticipada dinámica basada en entropía.
3. Garantías Teóricas: Demostraciones formales que muestran que, bajo extracción de evidencia estrictamente positiva, la precisión Dirichlet total aumenta monótonamente a lo largo de cualquier trayectoria válida, y la varianza predictiva marginal está acotada en consecuencia. Se demuestra que el marco recupera la distribución condicional óptima de Bayes bajo suposiciones de capacidad idealizadas.
4. Inferencia Interpretativa y Segura: El marco proporciona rastros de auditoría causales y transparentes para cada decisión. Utiliza la precisión Dirichlet nativa para activar abstenciones de seguridad OOD, previniendo alucinaciones.
5. Extensiones Racionales de Recursos: Extensión exitosa de la topología DAG para incorporar memoria temporal (NBSR-Mem) para control autónomo y formulación como Máquina de Estados Autoregresiva (AR-NBSR) para Diseño Óptimo Bayesiano de Experimentos consciente de costos.

4. Resultados Experimentales

El marco fue evaluado en cinco dominios diversos:

• Categorización Visual (CIFAR-10): NBSR alcanzó una precisión máxima del 96.74%, superando tanto a un ResNet-18 Plano (96.60%) como a un MoE Esparcido (96.43%). Crucialmente, logró un Error de Calibración Esperado (ECE) significativamente menor de 0.015 en comparación con las líneas base (~0.027). El modelo demostró una salida anticipada del 90% en la Profundidad 1 sin degradación de precisión, validando su racionalidad de recursos.
• Diagnóstico Médico Estructurado: En una tarea de triaje clínico, NBSR igualó la precisión diagnóstica de un MLP plano (97.62%) mientras proporcionaba atribuciones de características dependientes del camino y específicas del paciente. Redujo con éxito la profundidad de inferencia promedio de 2.0 a 1.0 para casos inequívocos, reduciendo el tiempo de inferencia sin pérdida de rendimiento.
• Modelado de Lenguaje: En una tarea controlada de desambiguación sintáctico-semántica, NBSR preservó la capacidad generativa (Perplejidad 13.81 vs. 13.43 de la línea base) mientras exponía rastros de enrutamiento transparentes (por ejemplo, distinguiendo expertos sintácticos vs. semánticos). Demostró la capacidad de abstenerse en prompts OOD donde los modelos softmax estándar alucinan.
• Control Parcialmente Observable (POMDP): En una tarea de navegación con amnesia espacial, NBSR-Mem (incorporando memoria recurrente) logró una tasa de éxito del 100%, igualando el rendimiento de una CNN-GRU de caja negra. A diferencia de la línea base de caja negra, NBSR-Mem detectó con éxito entradas OOD de "Peligro Alienígena" y activó una parada segura (tasa de abstención del 100%) en lugar de colapsar.
• Triaje Clínico Activo (BOED): La formulación AR-NBSR actuó como un agente de aprendizaje activo, aprendiendo a seleccionar pruebas diagnósticas para maximizar la ganancia de información por unidad de costo. Logró la precisión diagnóstica máxima a un costo promedio significativamente menor (~$45-$50) en comparación con las líneas base codiciosas ($60-$80), demostrando una planificación no miope y racional de recursos.

5. Significado y Afirmaciones

El artículo postula que NBSR representa un cambio fundamental desde el aprendizaje profundo estático y monolítico hacia un paradigma activo y secuencial de adquisición de características. Su significado radica en la unificación de tres conceptos previamente separados:

1. Ejecución Condicional: Pasar del promediado paralelo suave al enrutamiento duro dependiente del camino.
2. Incertidumbre Evidencial: Tratar la incertidumbre no como un diagnóstico auxiliar, sino como una variable de estado que controla activamente el cómputo (mediante salida anticipada y abstención).
3. Razonamiento Secuencial: Modelar la inferencia como una trayectoria de creencia causal-forward donde los estados intermedios y las contribuciones de los expertos son inspeccionables.

Los autores afirman que NBSR proporciona un marco matemáticamente fundamentado para IA agencial interpretable, modular y racional en recursos. Al asegurar que los expertos sean consultados selectivamente en lugar de promediados suavemente, y que la incertidumbre sea intrínseca al estado, el marco ofrece un camino hacia sistemas de IA que no solo son precisos, sino también transparentes, seguros y computacionalmente eficientes. El artículo concluye que, aunque NBSR está actualmente validado en benchmarks específicos, su arquitectura soporta naturalmente futuras extensiones hacia la integración neuro-simbólica, topologías ilimitadas mediante procesos Dirichlet y adquisición dinámica de habilidades.