From Privacy to Trust in the Agentic Era: A Taxonomy of Challenges in Trustworthy Federated Learning Through the Lens of Trust Report 2.0

Este artículo propone un marco para la Aprendizaje Federado Confiable (TFL) que, a través del "Trust Report 2.0", trasciende la privacidad tradicional para abordar la confianza como una condición operativa dinámica en la era de la IA agéntica, ofreciendo una taxonomía de desafíos y un plan de coordinación validado en el ámbito de la oncología.

Lo esencial

Imagina que la Inteligencia Artificial (IA) es como un equipo de chefs trabajando en cocinas separadas por todo el mundo. Quieren crear el mejor plato posible (un modelo de IA) sin tener que enviar sus ingredientes secretos (datos de pacientes, finanzas, etc.) a una cocina central.

Aquí es donde entra el Aprendizaje Federado (Federated Learning): en lugar de enviar los ingredientes, cada chef envía solo la "receta" de cómo mejoró su plato. Así, todos aprenden juntos sin revelar sus secretos.

Durante años, el problema principal era: "¿Cómo aseguramos que nadie espíe los ingredientes?" (Privacidad). Pero este paper nos dice que, en la era moderna, la privacidad ya no es suficiente.

El Nuevo Problema: De la Privacidad a la Confianza

Imagina que ahora estos chefs no son humanos, sino robots autónomos (IA Agente) que pueden decidir por sí mismos:

• ¿Qué ingredientes usar?
• ¿Cuándo cocinar?
• ¿Quién se une al equipo?
• ¿Cuándo cambiar la receta?

Si un robot decide cambiar la receta porque "le parece mejor", pero en realidad arruina el plato para un grupo de personas, ¿quién es el responsable? ¿El robot? ¿El dueño de la cocina? ¿El programador?

El paper dice que la confianza (Trust) no es algo que se "compra" una sola vez con medidas de privacidad. La confianza es como la salud de un paciente: no es un estado fijo, es algo que debes monitorear y cuidar todos los días.

La Analogía del "Diario de Bordo" (Trust Report 2.0)

Para resolver esto, los autores proponen algo llamado Trust Report 2.0.

Imagina que cada vez que el equipo de robots toma una decisión importante (como cambiar la receta o expulsar a un chef), deben llenar un diario de bordo digital.

• No escriben qué ingredientes usaron (eso sigue siendo secreto).
• Pero sí escriben: "Hoy decidimos cambiar la sal porque el robot detectó que estaba muy fuerte, y lo aprobó el supervisor humano".

Este diario es el Trust Report. Es una prueba de que el sistema no solo es privado, sino que actúa con responsabilidad, transparencia y bajo supervisión humana.

Los 7 Pilares de la Confianza (La Taxonomía)

Los autores organizan los problemas en 7 categorías, como si fueran las reglas de un juego de mesa muy estricto:

1. Control Humano (El Capitán): Los robots no pueden tomar decisiones de vida o muerte sin que un humano tenga un "botón de pánico" o pueda revisar lo que hicieron.
2. Robustez (El Escudo): ¿Qué pasa si un robot malo intenta envenenar la receta? El sistema debe ser fuerte para detectar y bloquear a los tramposos.
3. Privacidad (El Muro): Siguiendo siendo importante, pero ahora también protegemos lo que los robots dicen entre ellos, no solo los datos crudos.
4. Transparencia (La Luz): Si un robot toma una decisión, debemos poder entender por qué lo hizo, incluso si no podemos ver los datos privados.
5. Justicia (La Balanza): El plato final no debe saber mejor para los ricos y peor para los pobres. El sistema debe tratar a todos los grupos de personas por igual.
6. Bienestar (El Planeta): Cocinar con robots gasta mucha energía. Debemos asegurarnos de que no estemos contaminando el planeta innecesariamente.
7. Responsabilidad (El Juez): Si algo sale mal, debemos saber exactamente quién (o qué) fue el culpable para poder arreglarlo y castigarlo si es necesario.

El Caso de Prueba: El Hospital de Cáncer

Para probar si su idea funciona, usan un escenario de oncología (cáncer).

• El riesgo: Si la IA se equivoca, un paciente puede recibir el tratamiento incorrecto.
• El problema: Los hospitales tienen datos muy sensibles y no pueden compartirlos. Además, las enfermedades cambian con el tiempo.
• La solución: Usar el Trust Report. Antes de que la IA recomiende un tratamiento, el sistema revisa el diario de bordo: "¿Quién aprobó este cambio? ¿Hubo supervisión humana? ¿Es seguro para este grupo de pacientes?".

En Resumen

Este paper nos dice que en el futuro, cuando las IAs sean más autónomas y trabajen en equipo sin compartir sus secretos:

• No basta con decir: "Tus datos están seguros".
• Debemos poder decir: "Sabemos exactamente qué decisiones tomó el sistema, por qué las tomó, quién las aprobó y que siguen siendo justas y seguras".

La confianza ya no es un candado (privacidad), es un diario de navegación (gobierno y evidencia) que nos permite confiar en que el barco (el sistema de IA) no se desviará del rumbo, incluso cuando el capitán (la IA) toma el timón.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "De la Privacidad a la Confianza en la Era Agente: Una Taxonomía de Desafíos en el Aprendizaje Federado Confiable a través de la Lente del Informe de Confianza 2.0", estructurado según los puntos solicitados.

1. Problema y Motivación

El Aprendizaje Federado (FL) ha surgido como un paradigma fundamental para el entrenamiento colaborativo de modelos sin centralizar datos crudos, abordando inicialmente preocupaciones de privacidad y regulaciones como el GDPR. Sin embargo, el artículo identifica una brecha crítica: la preservación de la privacidad por sí sola es insuficiente para garantizar la confianza en entornos de alto riesgo y dinámicos, especialmente con la llegada de la IA Agente y los Modelos de Lenguaje Grande (LLM).

Los desafíos principales que motivan este trabajo son:

• Limitación de la visión actual: La literatura existente trata la confianza como una propiedad estática del modelo (ej. robustez ante ataques o privacidad), ignorando la toma de decisiones autónoma, la gobernanza multi-actor y la no estacionaridad de los entornos.
• Complejidad de la IA Agente: Los sistemas FL modernos no son solo optimizadores pasivos; los agentes pueden planificar, seleccionar acciones, invocar herramientas y adaptar objetivos autónomamente. Esto introduce riesgos en el "plano de control" (decisiones sobre participación, evaluación, despliegue) que las garantías técnicas tradicionales no cubren.
• Falta de un marco unificado: No existe un marco que integre los requisitos de IA Confiable (TAI) con la dinámica de los sistemas FL, ni mecanismos para auditar decisiones autónomas sin comprometer la privacidad de los datos locales.

2. Metodología

Los autores proponen un enfoque conceptual y estructural basado en cuatro pilares metodológicos:

1. Análisis a través de los Requisitos de IA Confiable (TAI): Se adoptan los siete principios de las Directrices Éticas de la Comisión Europea (Agencia humana, Robustez, Privacidad, Transparencia, Diversidad, Bienestar social y Responsabilidad) como base para analizar los desafíos del FL.
2. Descomposición de la Agencia y Planes de Control: Se introduce una distinción fundamental entre:
   • Plano de Aprendizaje: Entrenamiento local, agregación de parámetros y convergencia del modelo.
   • Plano de Control: Decisiones autónomas sobre selección de clientes, actualización de objetivos, puertas de evaluación, y desencadenantes de reentrenamiento.
   • Se define un espectro de autonomía (A0 a A3) para clasificar el nivel de intervención humana vs. autónoma.
3. Taxonomía de Desafíos: Se realiza un diagnóstico exhaustivo de los desafíos técnicos y de gobernanza bajo cada uno de los 7 requisitos TAI, categorizándolos en: Hecho (trabajo consolidado), Tendencias (investigación activa) y Por hacer (brechas de investigación).
4. Propuesta de Gobernanza Operativa: Se diseña un "Plan de Coordinación" y un artefacto de evidencia llamado Trust Report 2.0, que vincula las decisiones de gobernanza con evidencias auditable y preservadoras de la privacidad.

3. Contribuciones Clave

El artículo presenta cuatro contribuciones principales:

• Taxonomía de Desafíos Impulsada por Requisitos: Una clasificación sistemática de los obstáculos para lograr FL Confiable (TFL) en la era de la IA Agente. Esta taxonomía no solo lista problemas técnicos (ej. envenenamiento de datos, free-riders), sino que destaca las tensiones y compensaciones (trade-offs) entre requisitos (ej. privacidad vs. robustez, equidad vs. eficiencia) en entornos descentralizados.
• Plan de Coordinación para TFL: Un marco que separa explícitamente el plano de aprendizaje del plano de control. Este plan establece cómo las decisiones críticas (ej. liberación de modelos, cambios de métricas) deben ser justificadas, supervisadas y alineadas con los requisitos TAI, gestionando los trade-offs mediante controles nativos de FL.
• Reencuadre Conceptual de la Confianza: Se argumenta que la confianza en FL no es una propiedad estática del modelo entrenado, sino una condición operativa continua que debe mantenerse a lo largo del ciclo de vida del sistema. Esto requiere evidencias dinámicas sobre la toma de decisiones autónomas y la adaptación al entorno.
• Trust Report 2.0: Se introduce un artefacto ligero y extensible que sirve como evidencia auditable. A diferencia de los informes tradicionales, el Trust Report 2.0:
  • Es centrado en decisiones: Documenta el "qué", "por qué" y "bajo qué restricciones" se tomaron decisiones de control.
  • Es preservador de la privacidad: No centraliza datos crudos, sino que utiliza paquetes de confianza locales (LTPs) firmados y métricas agregadas.
  • Incluye métricas obligatorias (metadatos, contabilidad de privacidad, indicadores de robustez) y opcionales (equidad, interpretabilidad).

4. Resultados y Validación (Caso de Estudio)

Aunque el artículo es principalmente conceptual, valida su marco a través de un caso de estrés en el sector salud (Oncología):

• Escenario: Un sistema FL multi-hospitalario para diagnóstico oncológico, caracterizado por alta heterogeneidad de datos, deriva temporal (cambios en protocolos clínicos) y estrictas regulaciones.
• Aplicación del Marco: Se demuestra cómo el Plan de Coordinación y el Trust Report 2.0 gestionan los riesgos específicos de este dominio:
  • Riesgos de Seguridad: Se requieren comprobaciones de no regresión y umbrales de seguridad antes de cualquier despliegue (Plano de Control).
  • Privacidad: Se utiliza contabilidad de privacidad (budgets $\epsilon, \delta$) y registros de "olvido" (unlearning) para cumplir con el GDPR sin centralizar datos.
  • Responsabilidad: Se asignan roles claros y se generan registros de auditoría que vinculan las decisiones de los agentes con la responsabilidad clínica y legal.
• Resultado de la Validación: El caso de estudio confirma que sin un mecanismo de evidencia centrado en decisiones (Trust Report), la confianza clínica y regulatoria es inalcanzable, incluso si el modelo tiene alta precisión técnica. El marco permite visualizar y auditar los trade-offs entre utilidad clínica, privacidad y equidad.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la investigación y despliegue de Aprendizaje Federado:

• De la Privacidad a la Confianza Sistémica: Marca la transición de ver el FL solo como una herramienta de privacidad a entenderlo como un sistema socio-técnico complejo donde la confianza debe ser gestionada activamente a través de todo el ciclo de vida.
• Gobernanza de la IA Agente: Proporciona la primera estructura clara para auditar y gobernar sistemas FL donde la toma de decisiones es autónoma y dinámica, abordando la opacidad de los agentes y LLMs.
• Operacionalización de la IA Confiable: Transforma principios abstractos (como los de la UE) en artefactos prácticos y verificables (Trust Report 2.0), permitiendo que reguladores, desarrolladores y partes interesadas auditen sistemas descentralizados sin violar la privacidad.
• Futuro de la Colaboración: Sugiere que la confianza futura en FL no dependerá de garantías puntuales más fuertes, sino de una coordinación disciplinada bajo límites explícitos, donde la evidencia continua y la gobernanza compartida permiten la colaboración segura entre instituciones y jurisdicciones.

En resumen, el artículo establece que para que el FL sea viable en la era de la IA Agente, la confianza debe dejar de ser un subproducto técnico y convertirse en una condición operativa mantenida mediante gobernanza centrada en decisiones y evidencia auditable.