Beyond Post-hoc Explanation: Toward Glassbox AI via Probabilistic Mediation

Resumen Técnico: Más allá de la explicación post-hoc: Hacia una IA de Caja de Cristal mediante la mediación probabilística

Planteamiento del problema
El artículo aborda el desafío crítico de gobernanza que supone el despliegue de Modelos de Lenguaje de Gran Escala (LLM) como infraestructura en entornos institucionales de alto riesgo (por ejemplo, administración pública, atención sanitaria, razonamiento jurídico). El problema central es la opacidad del razonamiento de los LLM, lo que hace que las decisiones sean legal e institucionalmente insostenibles. Los autores argumentan que el paradigma dominante de la explicabilidad post-hoc (por ejemplo, LIME, SHAP) es estructuralmente inadecuado para estos contextos. Los métodos post-hoc sufren tres modos de fallo específicos:

1. Inestabilidad: Las explicaciones varían arbitrariamente con pequeñas perturbaciones en la entrada, fallando al proporcionar un razonamiento consistente.
2. No contestabilidad: Debido a que las explicaciones son aproximaciones generadas por un mecanismo separado, carecen de una relación formal con el proceso de razonamiento real del modelo, lo que impide que las partes afectadas puedan presentar impugnaciones genuinas.
3. La brecha de responsabilidad: Los métodos post-hoc identifican características influyentes, pero no verifican si las predicciones se alinean con el conocimiento del dominio, las restricciones normativas o los estándares explícitos.

El artículo postula que la causa raíz no es la falta de explicación, sino la falta de un razonamiento estructurado dentro del propio sistema.

Metodología: El Marco de Caja de Cristal (Glassbox Framework)
Los autores proponen un nuevo paradigma arquitectónico llamado el Marco de Caja de Cristal, que traslada la responsabilidad de lo post-hoc (después del hecho) a lo ante-hoc (antes de la inferencia). El mecanismo central consiste en utilizar Redes Bayesianas (BN) como capas de mediación transparentes para los modelos generativos.

La arquitectura consta de tres capas funcionales dispuestas verticalmente:

1. La Capa de Gobernanza: Una capa institucional (no computacional) donde los expertos en el dominio y las autoridades legales especifican la estructura de la BN (variables, estructura de Grafo Acíclico Dirigido/DAG y distribuciones a priori) basándose en los estándares institucionales actuales. Esta capa gestiona los registros de auditoría y los protocolos de actualización, asegurando que los cambios estructurales sean autorizados y documentados.
2. La Capa de Inferencia: El núcleo técnico donde un LLM y una BN interactúan de forma iterativa.
   • El LLM realiza un análisis inicial de la entrada no estructurada para proponer asignaciones candidatas para las variables de la BN.
   • Estas propuestas pasan por una interfaz de traducción semántica, mapeando el lenguaje natural al espacio de variables discretas y formalmente especificadas de la BN.
   • La BN activa un subgrafo contextualmente relevante (en lugar de la red completa) para realizar la inferencia probabilística.
   • Verificación de Consistencia: La BN comprueba las asignaciones del LLM frente a la estructura de dominio codificada. Si las asignaciones son incoherentes (por ejemplo, evidencia conflictiva), la BN genera una nueva consulta dirigida al LLM. Este bucle continúa hasta que se logra una instanciación coherente o se señala un fallo estructuralmente informativo.
   • La BN emite una distribución a posteriori y un rastro de inferencia completo, que un LLM vuelve a convertir en lenguaje natural.
3. La Capa de Responsabilidad: Esta capa pone el rastro completo de razonamiento a disposición de la revisión, apelación y desafío institucional. Debido a que el rastro es un registro directo de la estructura ante-hoc, las partes interesadas pueden impugnar nodos específicos, dependencias condicionales o decisiones de gobernanza.

Contribuciones Clave
El artículo realiza cuatro contribuciones principales:

1. Arquitectura Conceptual: Introduce y caracteriza formalmente el Marco de Caja de Cristal como una arquitectura conceptual para la IA generativa responsable, distinguiéndola de la XAI (IA explicable) y los enfoques neuro-simbólicos existentes.
2. La Interfaz BN-LLM: Define la interfaz entre el LLM y la BN como un objeto científico distinto, separado de la explicabilidad post-hoc. Esta interfaz se identifica como el desafío técnico central, que requiere el mapeo de las representaciones implícitas y distribucionales del LLM hacia las representaciones discretas y estructuradas de la BN.
3. Demostración Operativa: A través de un experimento mental estructurado en un escenario de elegibilidad de beneficios, el artículo ilustra las propiedades operativas del marco. Demuestra cómo el sistema gestiona la ambigüedad semántica, detecta inconsistencias (por ejemplo, entre el estado de empleo y las señales de ingresos) y produce trazas auditables que permiten la contestación a nivel de nodo.
4. Agenda de Investigación: Identifica cinco desafíos fundamentales que deben resolverse para materializar el marco a escala:
   • Anclaje Semántico: Cerrar la brecha entre el lenguaje natural dependiente del contexto y las variables probabilísticas independientes del contexto.
   • Aprendizaje de Estructura en Dominios Normativos: Desarrollar métodos para aprender o elicitar DAGs que sean tanto consistentes con los datos como normativamente defendibles (legales/éticos), en lugar de ser puramente estadísticos.
   • Interfaz Probabilística: Construir un mapeo matemático principista entre las distribuciones de tokens del LLM y las tablas de probabilidad condicional de la BN, utilizando específicamente "evidencia virtual" en lugar de evidencia dura para preservar las distribuciones a priori de la BN.
   • Gobernanza con Intervención Humana (Human-in-the-Loop): Establecer protocolos formales para el desacuerdo de expertos, la auditoría por parte de actores no técnicos y las actualizaciones de modelos autorizadas.
   • Escalabilidad y Generalización: Investigar si los mecanismos de meta-estructura o de transferencia pueden generalizar el marco a través de diferentes dominios (por ejemplo, de la elegibilidad de beneficios al triaje médico).

Resultados y Reivindicaciones
El artículo no presenta un sistema totalmente implementado ni resultados experimentales empíricos. En su lugar, ofrece un análisis teórico y arquitectónico.

• Resultado Teórico: Los autores demuestran que el Marco de Caja de Cristal posee cuatro propiedades derivadas directamente de su arquitectura: Transparencia de la Estructura (la estructura de razonamiento es inspeccionable antes de la inferencia), Contestabilidad de los Resultados (los desafíos pueden dirigirse a nodos o dependencias específicos), Cuantificación Formal de la Incertidumbre (distribuciones de probabilidad nativas en lugar de predicciones puntuales) y Modularidad (el conocimiento específico del dominio puede actualizarse sin alterar la arquitectura general).
• Análisis del Caso de Estudio: En el escenario de elegibilidad de beneficios, se muestra cómo el marco detecta la incoherencia estructural (por ejemplo, alta confianza en el desempleo frente a evidencia de ingresos) y activa nuevas consultas dirigidas, lo que resulta en una traza que vincula explícitamente el resultado con las condiciones estatutarias. Esto contrasta con los pipelines estándar de LLM, que producen resúmenes inestables y no contestables.

Significado y Alcance
El artículo sostiene que el Marco de Caja de Cristal representa un "camino principista" hacia sistemas de IA que son fundamentalmente responsables. Su importancia radica en el cambio de enfoque: de explicar modelos opacos a diseñar sistemas donde la estructura de razonamiento es inherentemente inspeccionable y gobernada.

Los autores son modestos en sus afirmaciones, declarando explícitamente que el marco es una "dirección de investigación" y no un sistema terminado. Enfatizan que la realización de este marco depende de resolver problemas científicos abiertos, particularmente el "alineamiento semántico" entre el lenguaje y la probabilidad y la formalización de la gobernanza probabilística. Argumentan que, sin resolver estos problemas fundacionales, la transición de los LLM hacia la infraestructura de alto riesgo seguirá siendo legal y éticamente precaria, ya que las explicaciones post-hoc no pueden sustituir al razonamiento estructurado y responsable.