Resumen Técnico: Modelos Basados en Conceptos Federados (F-CMs)

Enunciado del Problema

Los Modelos Basados en Conceptos (CMs) mejoran la interpretabilidad del aprendizaje profundo al fundamentar las predicciones en conceptos comprensibles para los humanos. Sin embargo, su implementación práctica se ve obstaculizada por el alto costo y la escasez de anotaciones de conceptos dentro de fuentes de datos individuales. Si bien el Aprendizaje Federado (FL) ofrece un paradigma para el entrenamiento colaborativo entre propietarios de datos distribuidos sin compartir datos crudos, los marcos FL existentes no son adecuados para los CMs. El FL estándar asume una arquitectura de modelo fija y compartida, mientras que los CMs dependen de una arquitectura explícitamente vinculada a un conjunto específico de conceptos y sus dependencias. En entornos FL realistas caracterizados por heterogeneidad estadística y no estacionariedad temporal (por ejemplo, clientes que se unen o abandonan, o deriva de datos), el conjunto de conceptos disponibles y sus relaciones estructurales pueden evolucionar. Esto crea una discrepancia fundamental: el FL estándar no puede acomodar las adaptaciones arquitectónicas requeridas cuando surgen nuevos conceptos o dependencias, lo que conduce a una pérdida de interpretabilidad o a la necesidad de un reentrenamiento completo costoso.

Metodología: Modelos Basados en Conceptos Federados (F-CMs)

Los autores proponen Modelos Basados en Conceptos Federados (F-CMs), un marco diseñado para desplegar CMs en entornos federados en evolución. Los F-CMs abordan la discrepancia entre las suposiciones estáticas del FL y los espacios de conceptos dinámicos mediante tres mecanismos centrales:

1. Agregación de Grafos:
   En lugar de asumir una estructura global predefinida, el servidor agrega información estructural (Grafos Acíclicos Dirigidos o DAGs) proporcionada por los clientes. Cada cliente $k$ envía una matriz de adyacencia ponderada $A^{(k)}$ que representa su confianza local en las aristas entre variables supervisadas. El servidor construye un DAG global compartido $G_t$ sumando estas confianzas y aplicando una regla de consenso máximo para determinar la existencia y dirección de las aristas. Este proceso maneja estructuras locales ruidosas o conflictivas y asegura que el modelo global refleje el conocimiento colectivo de la federación.

2. Adaptación Dinámica de la Arquitectura:
   El CM compartido se descompone en componentes modulares: un codificador latente, codificadores específicos de conceptos y un decodificador de tareas. A medida que nuevos clientes se unen o las distribuciones de datos cambian, introduciendo conceptos o dependencias previamente no vistos, la arquitectura se adapta modularmente:

   • Expansión: Se instancian nuevos módulos para conceptos nuevos.
   • Reconexión: Si cambian las dependencias (por ejemplo, una nueva arista $C_i \to C_j$), se actualiza la entrada al módulo correspondiente.
   • Arranque en Caliente (Warm-Start): Se preservan los parámetros existentes para los módulos no afectados, mientras que los nuevos parámetros se inicializan (por ejemplo, inicializados en cero o aleatoriamente). Esto evita el reentrenamiento completo y conserva el conocimiento previamente aprendido.

3. Optimización y Agregación Específicas por Módulo:
   Para manejar la supervisión parcial (donde un cliente puede solo anotar un subconjunto de conceptos), los F-CMs emplean una estrategia de optimización enmascarada. Durante el entrenamiento local, los clientes congelan los módulos para las variables que no supervisan. En consecuencia, las actualizaciones se generan solo para los componentes supervisados. El servidor realiza entonces una agregación por módulo, promediando los parámetros para cada módulo específico solo sobre el subconjunto de clientes que proporcionaron supervisión para esa variable. Esto asegura que el modelo global integre supervisión heterogénea sin obligar a los clientes a optimizar conceptos que no pueden observar.

Contribuciones Clave

El artículo introduce los F-CMs como la primera metodología para abordar espacios de conceptos en evolución bajo no estacionariedad temporal en FL mediante la adaptación de la estructura del modelo en lugar de asumir una arquitectura fija. Las contribuciones específicas son:

• Metodología Novel: Un enfoque sistemático para desplegar arquitecturas basadas en conceptos en entornos federados realistas, manejando supervisión de conceptos heterogénea, parcial y no estacionariedad temporal.
• Flexibilidad Arquitectónica: Superando la suposición de arquitectura fija del FL estándar, los F-CMs permiten que la estructura del modelo compartido se adapte durante el entrenamiento, habilitando la incorporación de interpretabilidad arquitectónica.
• Compartición de Conocimiento que Preserva la Privacidad: Reducción de la carga de anotación en instituciones individuales mediante la agregación de conocimiento de conceptos entre entidades sin compartir datos crudos.
• Validación Empírica: Instanciación de los F-CMs con cuatro arquitecturas CM distintas (CBM, CEM, CGM, C2BM) y validación en benchmarks de redes bayesianas sintéticas y dos conjuntos de datos reales de imágenes médicas (SIIM-Pneumothorax y CheXpert).

Resultados Experimentales

Los autores evaluaron los F-CMs frente a límites superiores centralizados, entrenamiento localizado, variantes federadas estáticas (S-F-CMs) y líneas base federadas de aprendizaje de conceptos de última generación (FedCBM, FCL).

• Precisión y Cobertura: Los F-CMs lograron una precisión de tarea y una cobertura de conceptos comparables al entrenamiento centralizado con supervisión completa de conceptos. Por el contrario, las líneas base federadas estáticas y los modelos localizados sufrieron caídas significativas en el rendimiento y no lograron cubrir conceptos introducidos por clientes de llegada tardía.
• Efectividad de la Intervención: Los F-CMs permitieron inferencia interpretable e intervenciones efectivas sobre conceptos que no estaban anotados localmente en instituciones específicas. Cuando se intervinieron conceptos de verdad fundamental, los F-CMs mantuvieron una alta precisión de etiquetas, demostrando que el modelo aprovecha exitosamente la supervisión agrupada para razonar sobre conceptos que no observó directamente durante el entrenamiento local.
• Eficiencia bajo No Estacionariedad: En escenarios donde nuevos clientes introdujeron conceptos no vistos, los F-CMs convergieron más rápido y hacia una pérdida menor que las líneas base estáticas. Crucialmente, los F-CMs requirieron actualizar solo una pequeña fracción de parámetros (por ejemplo, 8%–61% dependiendo del escenario) en comparación con el 100% para una línea base de reentrenamiento completo (S-F-CMs Reinit), demostrando una alta eficiencia de adaptación.
• Robustez: El marco mostró robustez ante el desacuerdo semántico inter-cliente y perturbaciones de grafos (ruido en los DAGs proporcionados por los clientes). La estrategia propuesta de agregación de grafos desruidoó efectivamente propuestas locales inconsistentes.
• Extensión Multimodal: Una extensión de prueba de concepto demostró que los F-CMs pueden manejar modalidades de entrada heterogéneas (por ejemplo, imágenes y texto) mientras comparten un espacio de conceptos semánticos común.

Significado y Afirmaciones

El artículo afirma que los F-CMs representan un paso significativo hacia la escalabilidad de modelos interpretables mientras se adhieren a restricciones del mundo real como la privacidad de los datos, la escasez de anotaciones y entornos de implementación dinámicos. Al cerrar la brecha entre la naturaleza estática del FL estándar y los requisitos estructurales de los CMs, los F-CMs permiten:

1. Inferencia Interpretable en Conceptos No Vistos: La capacidad de realizar predicciones interpretables sobre conceptos que no están anotados en un cliente específico, una capacidad no presente en los enfoques federados estáticos existentes.
2. Crecimiento Sostenible de la Federación: Un mecanismo para integrar nuevas fuentes de datos y tipos de supervisión sin descartar el conocimiento previamente aprendido ni incurrir en el costo computacional del reentrenamiento completo.
3. Interpretabilidad que Preserva la Privacidad: Una vía para agregar conocimiento semántico de alto nivel entre instituciones, reduciendo la necesidad de costosos esfuerzos de anotación de conceptos centralizados.

Los autores reconocen limitaciones, señalando que las arquitecturas CM actuales no fueron diseñadas originalmente para espacios en evolución, y que el trabajo futuro podría centrarse en desarrollar CMs conscientes de la federación con mayor modularidad. También destacan la necesidad de un análisis de privacidad más profundo con respecto a posibles superficies de ataque específicas para modelos federados basados en conceptos.