FedCC: Towards Addressing Label Distribution Skews in Distillation-Based Federated Learning

En la vasta e interconectada red de la comunicación moderna, una revolución silenciosa está teniendo lugar en la forma en que las computadoras aprenden. Tradicionalmente, los sistemas de inteligencia artificial se entrenan reuniendo cantidades masivas de datos en una única ubicación central, donde los algoritmos estudian millones de ejemplos para encontrar patrones. Sin embargo, este enfoque plantea serias preocupaciones sobre la privacidad y la seguridad, ya que requiere trasladar información personal sensible desde teléfonos, dispositivos médicos y servidores privados hacia un núcleo central. Para resolver esto, los investigadores desarrollaron un método llamado aprendizaje federado, que permite que muchos dispositivos diferentes aprendan juntos sin compartir nunca sus datos brutos. En lugar de enviar los datos en sí, los dispositivos envían solo las lecciones que han aprendido: actualizaciones matemáticas que describen lo que han visto. Esto mantiene la información privada de forma local, permitiendo al mismo tiempo que surja una inteligencia global a partir del esfuerzo colectivo.

No obstante, este proceso colaborativo enfrenta un obstáculo persistente: los datos en cada dispositivo rara vez están equilibrados. El teléfono de una persona podría estar lleno de fotos de gatos, mientras que el de otra contiene solo imágenes de coches. Cuando estos dispositivos intentan enseñar un modelo compartido, aquellos con abundantes datos para ciertas categorías tienden a dominar la conversación, empujando al modelo a convertirse en un experto en esas áreas específicas mientras ignora las raras o ausentes. Este desequilibrio crea un punto ciego, causando que el sistema tome decisiones con gran confianza pero incorrectas sobre las cosas que nunca ha visto. El desafío se complica cuando los dispositivos intentan aprender de un conjunto compartido de imágenes sin etiquetar —imágenes sin etiquetas identificativas—, lo cual es a menudo necesario para proteger la privacidad. Sin saber las respuestas verdaderas para estas imágenes compartidas, el servidor central lucha por corregir los sesgos introducidos por los dispositivos individuales, lo que conduce a un modelo global sesgado y poco fiable.

Un equipo de investigadores ha propuesto un nuevo enfoque para solucionar este problema, introduciendo un sistema que llaman FedCC. Su trabajo se centra en un tipo específico de aprendizaje colaborativo donde los dispositivos comparten sus predicciones en lugar de sus configuraciones internas. En esta configuración, cada dispositivo observa un conjunto de imágenes públicas y sin etiquetar y devuelve una lista de probabilidades que indica qué cree que es cada imagen. El problema surge cuando un dispositivo, habiendo visto solo unos pocos tipos de imágenes, se ve obligado a adivinar en todo. Si un dispositivo solo ha visto fotos de perros, identificará erró de forma segura un gato como un perro, y si muchos dispositivos hacen esto, el servidor central agrega estos errores en una conclusión única y defectuosa. Los investigadores se dieron cuenta de que la solución no era obligar a cada dispositivo a hacer una suposición, sino darles permiso para admitir cuando no están seguros.

La innovación central de FedCC es la introducción de una categoría de "desconocido". En los sistemas tradicionales, un dispositivo debe elegir una de las clases conocidas, como "perro", "gato" o "coche", incluso si la imagen es algo que nunca ha encontrado. FedCC cambia las reglas al permitir que un dispositivo etiquete una imagen confusa o desconocida como "desconocido". Esta simple adición actúa como una válvula de seguridad. Cuando un dispositivo encuentra una imagen que cae fuera de su experiencia limitada, puede asignarla a esta nueva categoría genérica en lugar de forzar una respuesta incorrecta. Esto evita que el dispositivo inyecte una falsa confianza en el conocimiento colectivo del grupo. Al reconocer lo que no sabe, el dispositivo protege al grupo de ser engañado por su propia perspectiva estrecha.

Para que esto funcione, los investigadores diseñaron un proceso donde los dispositivos primero aprenden de sus propios datos privados y luego utilizan un conjunto compartido de imágenes sin etiquetar para refinar su comprensión. Durante este refinamiento, el sistema calcula qué tan seguro está el dispositivo en sus predicciones. Si el dispositivo tiene mucha confianza, comparte su suposición. Si tiene incertidumbre, el sistema se apoya fuertemente en la categoría de "desconocido". Esta incertidumbre no se trata como un fallo, sino como una señal valiosa. El servidor central luego combina las predicciones de todos los dispositivos, dando más peso a aquellos que son seguros y menos peso a los que no lo están. Crucialmente, el servidor filtra las etiquetas de "desconocido" al crear la lección global final, asegurando que el conocimiento compartido se construya solo sobre información fiable y acordada. Este método permite que el sistema aprenda eficazmente incluso cuando los datos están muy sesgados, lo que significa que algunos dispositivos tienen muy pocos datos para ciertas categorías.

Los investigadores probaron este método en varios conjuntos de datos de imágenes estándar, incluyendo colecciones de objetos cotidianos y animales, bajo condiciones donde los datos estaban distribuidos de forma muy desigual. En la prueba más extrema, simularon un escenario donde diez dispositivos poseían imágenes de una sola clase de entre diez categorías posibles. En este entorno hostil, los métodos existentes colapsaron, con su precisión cayendo a niveles de simple azar, a menudo por debajo del doce por ciento. En contraste, el sistema FedCC mantuvo una robusta precisión del sesenta y siete coma tres por ciento. Este resultado demuestra que, al permitir que los dispositivos den un paso atrás ante los errores forzados, el sistema en su conjunto se vuelve significativamente más preciso. La brecha entre FedCC y otros métodos se amplió a medida que los datos se volvían más desequilibrados, probando que el enfoque es particularmente efectivo cuando el desafío es mayor.

Más allá de simplemente mejorar el modelo global final, el estudio mostró que este enfoque también ayudó a los dispositivos individuales. Al aprender a reconocer sus propias limitaciones y etiquetar las muestras inciertas como "desconocidas", los dispositivos se volvieron mejores para identificar las categorías raras que debían aprender. El sistema actuó efectivamente como un regularizador, evitando que los modelos fueran excesivamente confiados en las clases que conocían bien e ignoraran las que no. El análisis visual de los datos mostró que los modelos entrenados con FedCC mantenían las diferentes categorías distintas y separadas, mientras que otros métodos tendían a mezclarlas. Esta claridad sugiere que la categoría "desconocido" sirve como un amortiguador, absorbiendo el ruido y la confusión que usualmente descarrilan el aprendizaje colaborativo.

Los hallazgos sugieren que en un mundo de datos diversos y fragmentados, admitir la ignorancia es una herramienta poderosa para el aprendizaje. Al cambiar el objetivo de forzar una predicción a permitir la incertidumbre, FedCC ofrece una forma simple pero efectiva de construir sistemas de inteligencia artificial más fiables y justos. El método no requiere una nueva infraestructura compleja ni el intercambio de datos privados; simplemente cambia la forma en que los dispositivos comunican su confianza. A medida que las redes de dispositivos continúan creciendo y los datos que poseen se vuelven cada vez más variados, las técnicas que puedan manejar estos desequilibrios sin sacrificar la privacidad serán esenciales. FedCC proporciona un camino claro hacia adelante, demostrando que, a veces, la mejor manera de aprender es saber cuándo decir: "No lo sé".