Trustworthy Agentic AI: A Rapid, PRISMA-Informed Evidence Review of Safety, Explainability, Alignment, and Human Oversight in Autonomous AI Systems

Resumen Técnico: IA Agéntica Confiable

Planteamiento del Problema
La inteligencia artificial agéntica representa un cambio de paradigma de los modelos predictivos pasivos a sistemas autónomos capaces de interpretar objetivos, descomponer tareas, recuperar evidencia externa, invocar herramientas y ejecutar flujos de trabajo de múltiples pasos. A diferencia de la IA convencional, donde los fallos suelen limitarse a la salida del modelo, los fallos de la IA agéntica pueden propagarse a través de la planificación, la invocación de herramientas y el soporte de decisiones en el mundo real, lo que conduce a acciones irreversibles, filtración de datos o ejecución maliciosa. La literatura existente sobre la IA agéntica confiable está fragmentada en dominios como los agentes de Modelos de Lenguaje Extensos (LLM), sistemas multi-agente, IA explicable (XAI), alineación y generación aumentada por recuperación (RAG). Esta fragmentación crea una falta de orientación consolidada para integrar la seguridad, la explicabilidad, la alineación, la equidad y la supervisión humana en las cadenas de decisión-acción autónomas. Además, el campo está evolucionando rápidamente, con un volumen significativo de revisiones sistemáticas relacionadas publicadas en 2026, lo que requiere una revisión estructurada y oportuna para clarificar el estado actual del arte e identificar brechas específicas.

Metodología
Este estudio emplea un protocolo de revisión de evidencia rápido, informado por PRISMA. La metodología se distingue explícitamente de una revisión sistemática de literatura exhaustiva en múltiples bases de datos; utiliza una estrategia de búsqueda asistida por IA de un solo revisor, complementada con el rastreo de citas.

• Corpus: La revisión analiza un corpus primario de 33 estudios únicos publicados entre 2022 y 2026. Estos estudios fueron seleccionados basándose en el idioma inglés, la fecha de publicación y la relevancia para las arquitecturas de IA agéntica y las dimensiones de confiabilidad (seguridad, explicabilidad, alineación, equidad, privacidad, seguridad informática, transparencia, supervisión, evaluación y gobernanza).
• Evaluación de Calidad: Se aplicó una rúbrica de evaluación de calidad de siete ítems a cada estudio, calificando la claridad objetiva, la relevancia agéntica, el enfoque en la confiabilidad, la contribución metodológica, las limitaciones, la credibilidad de la fuente y la relevancia directa en una escala de 0 a 2 por ítem (puntuación máxima de 14).
• Síntesis: La revisión combina la síntesis cuantitativa (tendencias de publicación, tipos de fuentes, puntuaciones de calidad y cobertura de dimensiones) con una síntesis temática cualitativa de patrones arquitectónicos y riesgos de confianza.
• Posicionamiento: La taxonomía propuesta se compara explícitamente con quince marcos académicos, industriales y regulatorios existentes (2023–2026), incluyendo cuatro encuestas sistemáticas publicadas en 2026, para delinear contribuciones específicas.

Contribuciones Clave

1. Taxonomía T-SAFE: El artículo propone la taxonomía T-SAFE, organizando la IA agéntica confiable en torno a cinco dimensiones: Transparencia, Seguridad (Safety), Alineación, Equidad (Fairness) y Explicabilidad. Esta taxonomía está motivada empíricamente por el hallazgo de que la "Equidad" no recibe un tratamiento primario en el corpus revisado, mientras que la "Seguridad" predomina (52% de los estudios).
2. Marco por Capas: Se introduce un marco de IA agéntica confiable por capas, vinculando la interacción con el entorno, la memoria, la recuperación, el uso de herramientas, el razonamiento, los controles de confianza, la gobernanza y la supervisión humana. Este marco mapea las dimensiones T-SAFE a componentes arquitectónicos específicos.
3. Evidencia Cuantitativa: La revisión proporciona datos cuantitativos sobre el estado del campo, revelando que el 73% del corpus primario fue publicado en 2025 o 2026, y que los preprints de arXiv constituyen la categoría de fuente más grande (42%).
4. Identificación de Brechas: El estudio identifica brechas críticas, incluyendo la falta de estándares para evaluaciones de seguridad de agentes, la explicabilidad insuficiente en el uso de herramientas, los riesgos de seguridad en agentes habilitados por RAG y la ausencia de monitoreo de alineación del ciclo de vida.

Resultados y Síntesis Temática

• Patrones Arquitectónicos: La revisión identifica seis patrones primarios: agentes únicos basados en LLM, agentes aumentados por herramientas, agentes habilitados por RAG, sistemas multi-agente, WebAgents y agentes de evolución propia. Cada patrón introduce riesgos de confianza distintos, tales como la planificación alucinada, llamadas a herramientas inseguras, inyección de prompts y errores en cascada en la coordinación multi-agente.
• Riesgos de Confiabilidad: Los riesgos clave identificados incluyen la alucinación (contenido incorrecto que se convierte en un plan), el uso inseguro de herramientas, la inyección de prompts, la explicabilidad débil (falta de racional para la selección de herramientas), la desalineación con la intención del usuario y la supervisión humana insuficiente.
• Cobertura de Dimensiones: El análisis cuantitativo de los 33 estudios muestra un sesgo pronunciado hacia la Seguridad (52%), seguido de la Alineación y la Explicabilidad (15% cada una), y la Transparencia (12%). Notablemente, la Equidad no fue el enfoque primario de ningún estudio en el corpus, resaltando una brecha de investigación significativa.
• Fragmentación de Benchmarks: La revisión señala que los benchmarks de seguridad existentes (por ejemplo, Agent-SafetyBench, R-Judge, SafetyBench) evalúan constructos diferentes (seguridad a nivel de tarea frente a conciencia de riesgo frente a conocimiento estático) con una baja concordancia entre ellos, lo que conduce a conclusiones de seguridad inconsistentes.
• Posicionamiento Comparativo: Al posicionarse frente a 15 marcos existentes, la taxonomía T-SAFE se distingue por su combinación de una taxonomía evaluativa de cinco dimensiones, un mapeo explícito a una arquitectura técnica por capas, aplicabilidad a través de la investigación y la política sin un estrechamiento sectorial específico, y su fundamentación en evidencia cuantitativa del corpus.

Significancia y Reivindicaciones
El artículo se posiciona como una revisión de evidencia rápida en lugar de una revisión sistemática exhaustiva, reconociendo limitaciones tales como el sesgo de un solo revisor y la naturaleza evolutiva de la terminología de búsqueda. Su principal significancia radica en:

• Motivación Empírica: Proporcionar evidencia basada en datos de que la investigación actual enfatiza desproporcionadamente la seguridad y la protección mientras descuida la equidad, justificando así la inclusión de la Equidad como una dimensión de primer orden en la taxonomía T-SAFE.
• Claridad Estructural: Ofrecer un marco unificado que conecta las capas técnicas arquitectónicas (por ejemplo, recuperación, uso de herramientas) con las dimensiones de confianza evaluativas, abordando la fragmentación en la literatura actual.
• Agenda de Investigación: Recomendar explícitamente direcciones futuras, incluyendo el desarrollo de estándares para la evaluación de seguridad de agentes, mecanismos de uso de herramientas explicables, flujos de trabajo de RAG seguros, monitoreo de alineación del ciclo de vida y estructuras de gobernanza de mando humano (human-in-command).
• Llamado a la Replicación: El autor recomienda explícitamente la replicación formal en múltiples bases de datos de esta revisión como el siguiente paso necesario para transicionar de una revisión de evidencia rápida a una revisión sistemática de literatura completa y reproducible.

El artículo concluye que transformar la IA agéntica de prototipos experimentales en sistemas confiables, explicables, equitativos y responsables requiere abordar las brechas identificadas mediante la evaluación estandarizada, una gobernanza robusta y un enfoque equilibrado en las cinco dimensiones de T-SAFE.