🤖 machine learning

TL++: Accuracy and Privacy Preserving Traversal Learning for Distributed Intelligent Systems

TL++ es un novedoso marco de aprendizaje de trayectoria de dos modos para sistemas inteligentes distribuidos que recupera el comportamiento de gradiente de mini-lote centralizado mediante la construcción de lotes virtuales mientras equilibra la eficiencia de comunicación y la privacidad a través del intercambio de secretos de las activaciones y gradientes de la capa de corte.

Autores originales: Erdenebileg Batbaatar, Young Yoon

Publicado 2026-06-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Erdenebileg Batbaatar, Young Yoon

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un grupo de médicos, ingenieros o científicos que todos tienen datos valiosos (como registros de pacientes o lecturas de sensores) que quieren usar para entrenar una IA inteligente. Sin embargo, no pueden compartir los datos reales debido a las leyes de privacidad o secretos comerciales. Necesitan construir un "cerebro" juntos sin tener que entregar jamás sus cuadernos privados.

Este artículo presenta un nuevo método llamado TL++ (Traversal Learning++) para resolver este problema. Es como una forma ingeniosa para que estos expertos distantes resuelvan un rompecabezas gigante juntos sin siquiera mostrarse las piezas.

Así es como funciona, desglosado en conceptos simples:

1. El Problema: Los "Silos" y la "Cocina Desordenada"

Normalmente, cuando se entrena una IA, todos los datos se vierten en una gran cocina central (un servidor central). Esto es rápido y preciso, pero es una pesadilla para la privacidad.

Aprendizaje Federado (La forma antigua): Imagina que cada chef mantiene sus ingredientes en su propia cocina. Cocinan un poco, envían su plato terminado a un juez central, quien los mezcla todos. El problema es que si los chefs tienen estilos diferentes (datos diferentes), el plato final sabe raro, y enviar todo el plato cada vez es pesado y lento.
Aprendizaje Dividido (El camino intermedio): Imagina que los chefs solo envían la comida parcialmente cocinada a la cocina central. La cocina central termina de cocinar. Esto es más ligero, pero la cocina central aún puede ver la comida semicocida, lo que podría revelar secretos sobre los ingredientes. Además, generalmente cocinan la comida de un chef a la vez, lo cual es lento.

2. La Solución: TL++ (La "Olla Virtual")

TL++ introduce una nueva forma de cocinar. En lugar de cocinar la comida de un chef a la vez, crea una "Olla Virtual".

La Olla Virtual: El organizador central elige unos pocos ingredientes del Chef A, unos pocos del Chef B y unos pocos del Chef C, y los mezcla en un gran lote antes de cocinar.
Por qué esto es genial: Esto imita perfectamente la "Cocina Centralizada". La IA aprende tan bien como si todos los datos estuvieran en un mismo lugar, aunque los datos nunca salieron de las casas de los chefs. Esto resuelve el problema de la precisión.

3. Los Dos Modos: "Confiable" vs. "Secreto"

TL++ tiene dos configuraciones, como un coche con modos "Normal" y "Sigilo".

Modo A: Modo Base (El Equipo Confiable)

Cómo funciona: Los chefs envían su comida semicocida (activaciones) a la cocina central. La cocina termina de cocinar y envía de vuelta las instrucciones sobre cómo mejorar la receta.
El Beneficio: Es muy rápido y ligero. ¡Envía mucha menos información que los métodos antiguos (hasta 13 veces menos!).
El Problema: La cocina central aún puede ver la comida semicocida. Si la cocina es digna de confianza, esto está bien.

Modo B: Modo Seguro (El Saludo Secreto)

El Problema: ¿Qué pasa si la cocina central es curiosa? ¿Qué pasa si intentan adivinar los ingredientes a partir de la comida semicocida?
La Solución: TL++ añade un Ayudante Secreto (un segundo servidor que no habla con la cocina central).
El Truco de Magia (Compartición de Secretos):
- Imagina un número secreto (el dato).
- El Chef A divide este número en dos piezas aleatorias: Pieza 1 y Pieza 2.
- La Pieza 1 va a la Cocina Central. La Pieza 2 va al Ayudante Secreto.
- Ninguna de las piezas parece algo por sí sola. Es solo ruido aleatorio.
- La Cocina Central y el Ayudante hacen sus matemáticas en sus piezas separadas.
- Al final, combinan los resultados. Debido a la magia matemática (compartición de secretos aditiva), el resultado final es exactamente el mismo que si tuvieran el número real, pero ninguno de los dos servidores vio jamás el número real.
El Problema: Esto solo funciona perfectamente si la matemática que los servidores realizan es simple (lineal). Si la matemática es compleja (como añadir un toque "picante" no lineal), la compartición de secretos se vuelve difusa, y tienen que usar herramientas de seguridad más complejas (y lentas).

4. Los Resultados: ¿Qué Encontraron?

Los autores probaron esto en dos cosas:

Reconocimiento de Imágenes (CIFAR-10): Como identificar gatos, perros y coches.
Responder Preguntas Médicas (PubMedQA): Usar un modelo de lenguaje para responder preguntas sobre investigación médica.

Los Hallazgos:

Precisión: TL++ es casi tan bueno como tener todos los datos en un solo lugar. En la prueba de imágenes, obtuvo aproximadamente un 91% de precisión, mientras que los métodos antiguos de "Aprendizaje Federado" tuvieron dificultades rondando el 74%.
Velocidad/Datos: Envía muchísimos menos datos que los métodos antiguos. En el modo "Confiable", redujo el tráfico de datos en más de 13 veces en comparación con enviar el modelo de IA completo de ida y vuelta.
Seguridad: El "Modo Seguro" ocultó con éxito los datos intermedios de los servidores, siempre que la matemática fuera lo suficientemente simple.

5. El Intercambio (La "Letra Pequeña")

El artículo es honesto sobre sus límites:

La Regla "Lineal": Para que el modo secreto sea 100% perfecto, la parte de la IA que los servidores manejan debe ser de matemática simple. Si es compleja, es una aproximación.
Las Etiquetas son Visibles: El organizador central todavía necesita conocer las "respuestas" (etiquetas) para calcular la puntuación. El sistema oculta los datos de entrada, pero no las respuestas ni el hecho de que una persona específica participó.
Sin Colusión: El sistema asume que la Cocina Central y el Ayudante Secreto no se unirán para hacer trampas. Si lo hacen, el secreto queda al descubierto.

Resumen

TL++ es una nueva forma de entrenar IA a través de diferentes ordenadores sin compartir datos privados.

Mezcla datos de diferentes fuentes en un "lote virtual" para obtener alta precisión.
Envía solo piezas pequeñas de datos (activaciones) en lugar del modelo completo para ahorrar ancho de banda.
Utiliza un saludo secreto de dos servidores para ocultar los datos de servidores curiosos, garantizando la privacidad.

Es como un grupo de espías resolviendo un misterio juntos: comparten pistas sin revelar sus identidades, y resuelven el caso de forma más rápida y precisa que si intentaran trabajar solos.

Resumen Técnico: TL++: Aprendizaje de Trayectoria con Preservación de la Precisión y la Privacidad para Sistemas Inteligentes Distribuidos

1. Planteamiento del Problema

Los sistemas inteligentes distribuidos (por ejemplo, monitores clínicos, flotas autónomas) se enfrentan a un trilema: requieren equivalencia de gradiente centralizado (para gestionar datos no-IID sin degradación de la convergencia), eficiencia de comunicación (para evitar el intercambio de modelos completos) y seguridad de los cálculos intermedios (para prevenir la filtración de activaciones y gradientes).

Los paradigmas existentes no logran satisfacer los tres simultáneamente:

Aprendizaje Federado (FL): Mantiene los datos locales pero sufre de divergencia de gradientes bajo datos no-IID e incurre en altos costos de comunicación debido al intercambio de modelos completos. La agregación segura protege las actualizaciones, pero no los cálculos de aprendizaje dividido (split learning) intermedios.
Aprendizaje Dividido (SL): Reduce la comunicación transmitiendo solo las activaciones de las capas de corte, pero procesa las muestras de forma secuencial (impidiendo la agregación de gradientes entre participantes) y transmite activaciones/gradientes en texto plano, exponiéndolos a ataques de inversión.
Aprendizaje de Trayectoria (TL): Resuelve los problemas de precisión y comunicación mediante la construcción de lotes virtuales (virtual batches) a través de los nodos para imitar el entrenamiento centralizado. Sin embargo, el TL estándar transmite los valores intermedios en texto plano, ofreciendo ninguna garantía de privacidad contra servidores semi-honestos.

2. Metodología: Marco de Trabajo TL++

Los autores proponen TL++, un marco de aprendizaje de trayectoria de dos modos que extiende el TL para incluir capacidades de preservación de la privacidad mediante el uso de la partición de secretos aditiva (additive secret sharing).

Arquitectura del Sistema

El sistema consta de $N$ nodos clientes, un Orquestador (servidor) y un Servidor Auxiliar (Helper).

Nodos: Poseen conjuntos de datos locales y la parte "inferior" de la red neuronal ( $f_{node}$ ).
Orquestador: Posee la parte "superior" de la red ( $f_{server}$ ), construye lotes virtuales y coordina el entrenamiento.
Auxiliar (Helper): Un tercero no coluso que posee la segunda parte de los datos sensibles para asegurar que el Orquestador no pueda reconstruir tensores en texto plano por sí solo.

Dos Modos de Operación

Modo Base (Confiable):
- Funciona de manera idéntica al Traversal Learning estándar.
- Los nodos transmiten activaciones de la capa de corte en texto plano al Orquestador.
- El Orquestador realiza el paso hacia adelante (forward pass), calcula la pérdida y propaga los gradientes hacia atrás (backpropagation).
- Objetivo: Lograr la equivalencia de gradiente centralizado con una comunicación reducida (activaciones frente a modelos completos).
Modo Seguro (Preservación de la Privacidad):
- Partición de Secretos Aditiva: Los nodos dividen cada activación de la capa de corte $a$ en dos partes: $a^{(1)}$ (enviada al Orquestador) y $a^{(2)} = a - a^{(1)}$ (enviada al Auxiliar).
- Procesamiento Independiente: Ambos servidores procesan independientemente sus respectivas partes a través del modelo del servidor $f_{server}$ .
- Reconstrucción: El Orquestador reconstruye la salida $\hat{y} = \hat{y}^{(1)} + \hat{y}^{(2)}$ para calcular la pérdida utilizando las etiquetas.
- Descomposición de Gradientes: El gradiente de la capa de corte se descompone de forma aditiva ( $G = G^{(1)} + G^{(2)}$ ). Ningún servidor ve el gradiente completo en texto plano.

Restricciones Teóricas y Exactitud

Una contribución crítica del artículo es la formalización de las condiciones bajo las cuales el modo seguro es exacto (matemáticamente idéntico al entrenamiento centralizado):

Condición de Linealidad: El protocolo seguro es exacto solo si las operaciones realizadas independientemente sobre las partes son lineales o afines.
Manejo de No Linealidad: Si $f_{server}$ contiene operaciones no lineales (ej. ReLU, Pooling, Softmax) aplicadas directamente a las partes sin protocolos no lineales seguros (como circuitos garbled), el resultado es una aproximación.
Implicación: En la arquitectura CNN evaluada, el Corte 3 (después de la primera capa totalmente conectada, antes de la clasificación final) permite la evaluación segura exacta porque la ruta del servidor es lineal. Los Cortes 1 y 2 involucran capas no lineales por encima del corte, lo que hace que los resultados del modo seguro sean aproximados a menos que se empleen protocolos no lineales seguros adicionales.

3. Contribuciones Clave

Marco de Dos Modos: TL++ soporta un modo base para entornos confiables y un modo seguro utilizando un auxiliar no coluso y partición de secretos aditiva para proteger las activaciones y gradientes intermedios.
Condición de Exactitud: Los autores demuestran que los pasos de forward y backward de los lotes virtuales de TL++ son exactos sobre partes aditivas si y solo si la ruta del servidor por partes es lineal o afín. Esto distingue entre elecciones arquitectónicas (una $f_{server}$ no lineal es válida en el modo base) y restricciones del protocolo (el modo seguro requiere linealidad para la exactitud).
Privacidad de Alcance Limitado: El sistema proporciona privacidad a nivel de activación donde ningún servidor observa valores intermedios en texto plano, reconociendo al mismo tiempo las limitaciones (las etiquetas y los valores de salida siguen siendo visibles para el Orquestador para el cálculo de la pérdida).
Análisis de Comunicación: El artículo analiza la compensación entre la profundidad del corte, el tamaño de la carga útil (payload) y los costos de sincronización, demostrando que los cortes más profundos reducen el tamaño de la activación pero pueden aumentar la sobrecarga de sincronización en el nodo.

4. Resultados Experimentales

El marco fue evaluado en CIFAR-10 (clasificación de imágenes) y BioGPT/PubMedQA (NLP biomédico con LoRA).

Precisión (CIFAR-10)

Línea Base Centralizada: 92.03% de precisión.
TL++ Base (Corte 1): 91.41% (brecha de 0.62%).
TL++ Seguro (Corte 3 - Exacto): 90.93% (brecha de 1.10%).
Comparación: TL++ supera significativamente a las líneas base de FL (ej. FedAvg con 74.56%) y al Split Learning estándar (78.88%), demostando que la construcción de lotes virtuales recupera la utilidad centralizada incluso bajo condiciones no-IID.
Seguro vs. Base: La configuración segura exacta (Corte 3) mantiene una alta precisión, mientras que las configuraciones seguras aproximadas (Cortes 1 y 2) muestran brechas ligeramente mayores debido a las aproximaciones no lineales.

Eficiencia de Comunicación

Reducción de Carga Útil: El Corte 1 de TL++ Base reduce la carga útil de comunicación por paso en 13.1× en comparación con la sincronización del modelo completo (FedAvg).
Sobrecarga de Seguridad: El modo seguro aproximadamente duplica el tráfico de la ruta de corte debido al reparto de partes, pero sigue siendo significativamente más eficiente que el FL de modelo completo (ej. el Corte 1 Seguro es 4.2× más pequeño que FedAvg).
Latencia: Aunque se reduce la carga útil, el modo seguro introduce coordinación entre servidores. Sin embargo, el procesamiento paralelo mantiene bajos los tiempos de cómputo de la ruta crítica (~120ms), aunque el tiempo de red aumenta para las configuraciones seguras.

BioGPT/PubMedQA

Los modos Base y Seguro de TL++ alcanzaron una precisión comparable al ajuste fino centralizado (aprox. 81-83%) y superaron significativamente a las líneas base de FL y SL estándar, validando el enfoque para tareas de NLP con ajuste de parámetros eficientes (LoRA).

5. Significado y Reivindicaciones

El artículo afirma que TL++ ofrece un punto medio entre el Aprendizaje Federado y el Aprendizaje Dividido para la IA distribuida:

Utilidad: Se aproxima a la utilidad de nivel centralizado al recuperar el comportamiento exacto del gradiente de mini-lote mediante lotes virtuales, resolviendo la degradación de la precisión observada en FL bajo datos no-IID.
Eficiencia: Reduce los costos de comunicación al transmitir solo activaciones/gradientes de la capa de corte en lugar de los parámetros completos del modelo.
Privacidad: Introduce una capa de privacidad configurable donde los tensores intermedios se reparten en secretos, protegiéndolos de un único servidor semi-honesto, siempre que se disponga de un auxiliar no coluso.

Limitaciones y Alcance:
Los autores son modestos respecto al alcance de sus garantías de privacidad:

Modelo de Amenaza: La seguridad se limita a un entorno de dos servidores semi-honestos y no colusos. No protege contra la colusión de servidores, desviaciones maliciosas o ataques de canal lateral (tiempo, metadatos).
Divulgación de Etiquetas: El protocolo actual requiere que el Orquestador vea las etiquetas y los valores de salida para el cálculo de la pérdida.
Exactitud: El entrenamiento seguro exacto requiere rutas de servidor lineales; las operaciones no lineales requieren protocolos de MPC adicionales o resultan en aproximaciones.
Despliegue: El sistema es más efectivo cuando la comunicación es el cuello de botella y la heterogeneidad de los datos hace que el FL estándar sea poco fiable.

En resumen, TL++ demuestra que es posible combinar pérdida de exactitud nula, eficiencia de comunicación y privacidad de valores intermedios de alcance limitado en el entrenamiento distribuido, siempre que se cumplan ciertas asunciones arquitectónicas y de confianza (no colusión, rutas de partes lineales para la exactitud).