Resumen Técnico: XstrAI – Un Sistema Multi-Agente para Narrativas de XAI Conscientes del Público

1. Declaración del Problema

Los métodos de atribución de características locales, como SHAP, proporcionan evidencia esencial a nivel de instancia para las predicciones del modelo, pero a menudo no logran servir eficazmente a audiencias diversas. En dominios de alto riesgo como la IA médica, la misma explicación técnica debe comunicarse a clínicos, pacientes y científicos de datos, cada uno con distintos niveles de experiencia, objetivos y riesgos de mala interpretación.

Los enfoques actuales para generar explicaciones en lenguaje natural a partir de estas atribuciones sufren varias limitaciones:

• Agnosticismo de la Audiencia: Los métodos de atribución de características están diseñados para ser agnósticos respecto a la audiencia, dejando la adaptación de la evidencia al consumidor.
• Debilidad en el Fundamento (Weak Grounding): La verbalización directa mediante Modelos de Lenguaje de Gran Escala (LLMs) o el condicionamiento de rol mediante un solo prompt suele resultar en salidas que son persuasivas pero infieles a la evidencia subyacente del modelo.
• Conflación Causal: Los LLMs frecuentemente confluyen la atribución de características con el lenguaje causal, produciendo alucinaciones o afirmaciones no sustentadas.
• Generación Monolítica: Los sistemas de Narrative-XAI existentes a menudo tratan la generación como un paso único y no estructurado, entrelazando la selección de evidencia, la adaptación a la audiencia y la validación, lo que limita la inspectabilidad y el control.

El desafío central es generar narrativas que no solo sean fluidas, sino que estén estrictamente fundamentadas en la evidencia de atribución fija, siendo simultáneamente semántica y estilísticamente apropiadas para grupos de partes interesadas específicos.

2. Metodología: El Marco de Trabajo XstrAI

Los autores proponen XstrAI, un marco de trabajo multi-agente que desacopla la representación de la evidencia de su comunicación. El sistema trata las explicaciones locales como hechos inmutables y estructura su transformación en narrativas específicas para cada parte interesada a través de un pipeline controlado.

2.1 Arquitectura Central

El marco opera sobre tres perfiles de partes interesadas: Clínico, Paciente y Científico de Datos. La arquitectura consta de los siguientes componentes:

1. ExplanationCard (Representación de Entrada):

   • Un artefacto estructurado y legible por máquinas que sirve como "fuente de verdad" para cada caso de predicción.
   • Contiene información del caso, salida del modelo, atribuciones SHAP, metadatos de características, restricciones de generación y el perfil de la parte interesada objetivo.
   • Esta tarjeta asegura que la evidencia subyacente permanezca fija e idéntica en todas las vías de audiencia; las diferencias en la salida surgen únicamente de las elecciones comunicativas, no de la alteración de la evidencia.

2. Pipeline Multi-Agente:
   Para cada vía de parte interesada, tres agentes especializados de LLM operan secuencialmente:

   • Agente de Encuadre (Framer Agent - Planificación): Recibe la ExplanationCard y genera un FramingTrace. Este artefacto define la estrategia narrativa, incluyendo la organización, el orden de presentación de las características, el tono, las precauciones requeridas y las instrucciones operativas. Adapta la evidencia al interesado (por ejemplo, priorizando la legibilidad y el lenguaje no alarmante para pacientes; reteniendo direcciones de atribución explícitas para científicos de datos).
   • Agente Narrador (Narrator Agent - Generación): Recibe la ExplanationCard y el FramingTrace. Genera la narrativa candidata, constreñida por la evidencia fáctica en la tarjeta y la estrategia comunicativa en el trazo. Debe preservar el significado de la atribución y evitar afirmaciones causales o diagnósticas a menos que estén permitidas.
   • Agente Revisor (Reviewer Agent - Validación): Actúa como un módulo interno de control de calidad. Evalúa la narrativa candidata frente a cinco dimensiones:
     1. Fundamentación en la Tarjeta (Card Grounding): Anclado a la evidencia; sin fabricación.
     2. Fidelidad a SHAP (SHAP Faithfulness): Se preservan la dirección y la magnitud relativa de las contribuciones.
     3. Encuadre Epistémico (Epistemic Framing): Describe el comportamiento del modelo, no diagnósticos o causalidad.
     4. Seguridad en la Comunicación (Communication Safety): Sin consejos de tratamiento, pronóstico o estilo de vida (a menos que se permitan explícitamente).
     5. Ajuste de la Audiencia (Audience Fit): El registro coincide con el objetivo de la parte interesada.
   • Bucle de Revisión Acotado (Bounded Revision Loop): Si el Revisor detecta inconsistencias, activa una revisión. El bucle redirige la tarea al Framer, al Narrador o a ambos. El sistema permite un máximo de dos rondas de revisión (generando hasta tres intentos por caso).

2.2 Configuración Experimental

• Conjuntos de Datos: Datasets de Predicción de Diabetes y Accidente Cerebrovascular (Stroke).
• Modelos: Clasificadores Random Forest con SHAP (TreeExplainer) para atribuciones locales.
• Líneas Base (Baselines): El sistema fue evaluado contra 11 configuraciones, incluyendo:
  • Explingo: Una reimplementación de un narrador basado en bucles de vanguardia.
  • Líneas Base Incrementales (B1–B4): Variantes de XstrAI que ablacionan componentes específicos (por ejemplo, generación de un solo paso, prompting de rol, bucles de revisión, verificación basada en reglas).
• LLMs: Se utilizaron Qwen3.6:35B y Gemma4:31B para la generación y revisión, con emparejamiento entre distintas familias para evitar sesgos.

3. Protocolo de Evaluación

La evaluación emplea un enfoque de doble régimen para medir tanto la fidelidad del texto a la evidencia como su idoneidad para la audiencia.

3.1 Evaluación Intra-Narrativa

Mide las propiedades del texto generado en sí mismo:

• Forma: Legibilidad (Flesch–Kincaid), riqueza léxica (MATTR), verbosidad y patrones de repetición.
• Contenido: Acuerdo con la ExplanationCard en valores de características (Acuerdo de Valor), dirección de contribución (Acuerdo de Signo) y orden de características (Acuerdo de Rango).
• Semántica: Precisión semántica medida proyectando las oraciones de la narrativa en corpus de referencia específicos para cada parte interesada (artículos médicos para clínicos/científicos de datos, artículos de divulgación para pacientes) utilizando embeddings de Sentence-BERT.

3.2 Evaluación Extra-Narrativa

Mide cómo es recibida la información por evaluadores externos:

• LLM-como-Juez (LLM-as-a-Judge): Tres jueces de LLM independientes (Claude, GPT, Gemini) realizaron:
  • Análisis de Re-identificación: Asignación de narrativas anonimizadas a su audiencia prevista.
  • Ranking Competitivo: Clasificación de las 14 salidas del sistema para cada audiencia objetivo, agregadas mediante puntuaciones Bradley-Terry/Elo.
• Evaluación Humana: Encuestas con 15 participantes (5 por grupo: clínicos, científicos de datos, pacientes) calificando las narrativas en Comprensibilidad, Claridad, Utilidad, Confianza y Carga Cognitiva.

4. Resultados Clave

• Adaptación de la Audiencia: Las narrativas de XstrAI fueron asignadas consistentemente a su audiencia prevista por jueces independientes (100% de precisión en re-identificación), superando significativamente a las líneas base.
• Rendimiento vs. Líneas Base:
  • Clínico y Paciente: XstrAI fue preferido sobre todas las líneas base en los rankings de LLM.
  • Científico de Datos: XstrAI fue competitivo pero quedó ligeramente por detrás de las líneas base de un solo prompt (B2) que maximizan la densidad bruta de SHAP.
• Fidelidad y Estructura:
  • XstrAI mantuvo un alto Acuerdo de Signo (preservando la dirección de SHAP) mientras permitía que el Acuerdo de Rango cambiara para las narrativas de pacientes. Específicamente, las narrativas de pacientes promovieron sistemáticamente características "accionables" (ej. IMC) sobre no accionables (ej. edad), priorizando la comunicación orientada a la intervención sobre el ranking estricto de SHAP.
  • XstrAI logró tasas de repetición más bajas y mayor diversidad léxica en comparación con las líneas base, evitando la generación basada en plantillas vista en sistemas con bucles de revisión pero sin agente de planificación.
• Retroalimentación Humana: Los clínicos calificaron las narrativas de XstrAI con los puntajes más altos en Comprensibilidad (4.7/5) y Confianza (4.1/5). Los pacientes las encontraron altamente comprensibles (4.2/5) con baja carga cognitiva (2.2/5), aunque los puntajes de Confianza fueron más moderados (3.0/5).

5. Significado y Contribuciones

El artículo reclama tres contribuciones primarias:

1. Arquitectura Novedosa: Un marco multi-agente que desacopla la representación de la evidencia, la planificación específica para el stakeholder, la realización lingüística y la validación en etapas inspeccionables, tratando las explicaciones locales como evidencia fija.
2. Protocolo de Evaluación Dual: Una metodología que desentrelaza la fidelidad intra-narrativa (verdad a la evidencia) de la idoneidad extra-narrativa (ajuste a la audiencia), evaluada contra corpus de referencia, jueces de múltiples familias de LLM y sujetos humanos.
3. Validación Empírica: Evidencia de que la generación condicionada por la audiencia requiere más que un simple prompting de rol; un pipeline estructurado con planificación y validación es necesario para producir narrativas que sean tanto fieles al modelo como semánticamente alineadas con diversos stakeholders.

Los autores enfatizan que XstrAI demuestra que la adaptación a las partes interesadas puede remodelar legítimamente la estructura de la explicación (por ejemplo, reordenar características para pacientes) sin comprometer la evidencia central, siempre que la transformación sea controlada y validada. El trabajo sugiere que el despliegue seguro y efectivo de la XAI requiere ir más allá de la generación monolítica hacia pipelines de comunicación estructurados y verificables.