🤖 machine learning

Assessing the Impacts of Imperfect Datasets on Client Selections in Federated Learning

Este artículo investiga cómo los conjuntos de datos imperfectos (no IID y con ruido) y la selección sesgada de clientes afectan el rendimiento del aprendizaje federado, y propone un método de puntuación que preserva la privacidad para evaluar eficazmente las contribuciones de los clientes y mitigar estos problemas.

Autores originales: Yuan-Heng Tsai, Li-Hsing Yen, Yan-Wei Chen

Publicado 2026-08-04

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuan-Heng Tsai, Li-Hsing Yen, Yan-Wei Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde tu smartphone, tu smartwatch y el portátil de tu vecino quieren aprender a reconocer un gato, pero no pueden compartir sus fotos. Tal vez las fotos son demasiado privadas, o tal vez la conexión a Internet es demasiado lenta para subirlas todas a una computadora central gigante. Este es el problema que el Aprendizaje Federado intenta resolver. En lugar de reunir todos los datos en un solo lugar, el "maestro" (un servidor central) envía un plan de lecciones básico a todos. Cada estudiante (un dispositivo cliente) practica con sus propias fotos privadas, descubre qué ha aprendido y envía solo las notas de la lección de vuelta al maestro. El maestro mezcla todas las notas para crear un plan de lecciones más inteligente para la siguiente ronda. Es como un grupo de estudio masivo y global donde cada uno mantiene su tarea oculta, pero aun así aprenden juntos.

Sin embargo, este grupo de estudio tiene algunos problemas complicados. Primero, no todos tienen la misma cantidad de tarea (algunos tienen 10 fotos, otros tienen 10,000). Segundo, algunos estudiantes solo tienen fotos de gatos naranjas, mientras que otros solo tienen gatos negros (esto se llama "sesgo de etiquetas"). Tercero, algunos estudiantes podrían haber escrito accidentalmente "perro" en una foto de un gato (datos mal etiquetados). Si el maestro elige a los estudiantes al azar para compartir sus notas, la clase podría aprender cosas extrañas o quedarse estancada. La gran pregunta es: ¿Cómo decide el maestro a quién elegir para ayudar a la clase a aprender mejor, sin echar un vistazo a la tarea privada de nadie?

Este artículo, titulado "Assessing the Impacts of Imperfect Datasets on Client Selections in Federated Learning" (Evaluación de los impactos de conjuntos de datos imperfectos en la selección de clientes en el Aprendizaje Federado), profundiza precisamente en este desorden. Los autores, investigadores de la Universidad Nacional Yang Ming Chiao Tung, realizaron una serie de experimentos para ver cómo diferentes tipos de datos "malos" afectan la velocidad de aprendizaje y la calificación final del grupo. Descubrieron que la solución no es una que sirva para todos. A veces, necesitas ser justo y elegir a todos por igual; otras veces, necesitas ser estricto y evitar a los estudiantes con datos desordenados. Para resolver esto, inventaron un sistema de "boleta de calificaciones" que permite al maestro calificar qué tan útil es cada estudiante sin llegar a ver sus fotos privadas.

El Gran Experimento del Grupo de Estudio

Los investigadores configuraron un aula virtual con 100 clientes (estudiantes) y un servidor central (el maestro). Utilizaron dos conjuntos de datos clásicos para sus experimentos: MNIST (números escritos a mano) y CIFAR-10 (imágenes de animales y objetos). En su simulación, probaron qué pasaba cuando cambiaban las reglas del juego.

Los Escenarios de "Datos Malos"
Crearon tres tipos principales de problemas para ver cómo reaccionaba la clase:

Sesgo de Cantidad: Algunos estudiantes tenían cuadernos diminutos, otros tenían bibliotecas enormes. Descubrieron que los cuadernos más grandes generalmente conducían a mejores calificaciones, pero si un cuaderno era demasiado pequeño, no podía ayudar mucho.
Sesgo de Etiquetas: Imagina a un estudiante que solo tiene fotos de "3" y a otro que solo tiene fotos de "7". Si la clase solo escucha a estos dos, no aprenderán cómo se ve un "1" o un "2". Los investigadores probaron desde "todos tienen una mezcla" hasta "cada uno tiene solo un número específico". Descubrieron que cuando los datos estaban muy desequilibrados (como un estudiante que solo tiene "3"), la clase tenía dificultades para aprender, especialmente con las imágenes más difíciles de CIFAR-10.
Datos Mal Etiquetados: Este fue el verdadero alborotador. Simularon estudiantes que tenían fotos de gatos etiquetadas como "perros". Probaron tres formas en las que esto podría suceder: errores aleatorios, errores secuenciales (donde el "1" se convierte en "2", el "2" en "3", etc.) y errores cíclicos. Los resultados fueron contundentes: los datos mal etiquetados eran mucho peores que los datos desequilibrados. De hecho, cuando simularon un alto nivel de errores secuenciales (donde las etiquetas se desplazaron 7 posiciones), el proceso de aprendizaje falló por completo. La clase no pudo aprender nada útil de los estudiantes que estaban con seguridad equivocada.

El Dilema de la "Equidad"
Luego, preguntaron: "¿Debería el maestro elegir estudiantes al azar (Justo) o evitar a los que tienen datos desordenados (Injusto)?"

Cuando el problema era el Sesgo de Etiquetas (datos desequilibrados): Ser Justo fue el ganador. Incluso si un estudiante solo tenía fotos de "3", dejarlo participar ayudaba a la clase a aprender ese número específico. Si el maestro los excluía, la clase perdía esa oportunidad. Los resultados mostraron que la selección justa mejoraba la precisión, aunque a veces tomaba algunas rondas más para terminar.
Cuando el problema eran los Datos Mal Etiquetados: Ser Justo fue un desastre. Incluir a estudiantes con etiquetas incorrectas arrastraba a toda la clase hacia abajo. En estos casos, la estrategia "Injusta" (excluir a los estudiantes desordenados) en realidad funcionó mejor. El artículo sugiere que cuando los datos están corruptos, se debe priorizar la calidad sobre la equidad.

El Nuevo Sistema de "Boleta de Calificaciones"

Dado que el maestro no puede echar un vistazo a los cuadernos privados de los estudiantes, ¿cómo sabe quién es útil y quién es desordenado? Los autores propusieron un sistema de calificación de tres partes que se ejecuta enteramente en el lado del servidor:

Puntuación de Tamaño de Datos: Esto es simple. Solo verifica qué tan grande es el cuaderno del estudiante. Un cuaderno más grande obtiene una puntuación más alta (normalizada entre 0 y 1).
Puntuación de Calidad: Esta es la parte ingeniosa. Después de que un estudiante envía sus notas de la lección, el maestro las prueba en un "examen de práctica" secreto cuyas respuestas el maestro ya conoce. Si las notas del estudiante conducen a una puntuación alta en el examen de práctica, recibe una Puntuación de Calidad alta. Si fallan el examen de práctica, su puntuación baja. Esto le dice al maestro: "Los datos de este estudiante son útiles" o "Los datos de este estudiante tienen ruido", sin ver nunca las fotos reales.
Puntuación de Equidad: Este es un "medidor de paciencia". Cada ronda, la puntuación de cada estudiante aumenta un poco. Si un estudiante es elegido para participar, su puntuación se reinicia a cero. Esto asegura que los estudiantes que no han sido elegidos en mucho tiempo eventualmente tengan una oportunidad, evitando que el maestro escuche solo a los pocos niños "inteligentes".

El Balanceador Inteligente
La verdadera magia es cómo combinan estas puntuaciones. El sistema observa la varianza (la dispersión) de las Puntuaciones de Calidad.

Si las Puntuaciones de Calidad son todas similares (baja varianza), significa que los datos están mayormente limpios. El sistema entonces se apoya en la Puntuación de Equidad, asegurándose de que todos tengan un turno.
Si las Puntuaciones de Calidad están por todos lados (alta varianza), significa que algunos estudiantes tienen datos terribles y ruidosos. El sistema cambia de marcha inmediatamente, ignorando la Puntuación de Equidad y eligiendo solo a los estudiantes con las Puntuaciones de Calidad más altas.

Lo que Encontraron (y lo que No Encontraron)

El artículo concluye que no existe una única "mejor" forma de elegir estudiantes. Depende enteramente de por qué los datos son imperfectos.

Si los datos son solo desequilibrados (algunos estudiantes tienen etiquetas raras), el artículo sugiere que la equidad es crucial. Excluir a estos estudiantes perjudica al modelo.
Si los datos están corruptos (mal etiquetados), el artículo sugiere que la equidad debe sacrificarse para proteger al modelo de la información mala.

Los autores son cuidadosos al notar que su "Puntuación de Calidad" es una gran herramienta, pero tiene un punto ciego. Puede decirte que los datos de un estudiante son "malos", pero no puede decirte por qué. No sabe si los datos son malos porque el estudiante solo tiene "3" (sesgo de etiquetas) o porque escribió "perro" en una foto de un gato (mal etiquetado). Debido a esto, el sistema a veces tiene que adivinar. Si la varianza es alta, el sistema asume lo peor (datos mal etiquetados) y prioriza la calidad, lo cual es una apuesta segura. Sin embargo, los autores admiten que si la alta varianza se debe en realidad al sesgo de etiquetas, este enfoque conservador podría perder algunas buenas oportunidades de aprendizaje.

En resumen, el artículo no pretende haber resuelto el problema para siempre. En cambio, proporciona una guía experimental medida que muestra que un sistema inteligente y adaptativo —uno que pueda cambiar entre "ser justo" y "ser estricto" según la situación— es el mejor camino a seguir para el Aprendizaje Federado. Sugieren que el trabajo futuro debería centrarse en construir un sistema que pueda distinguir mejor entre datos "desequilibrados" y "corruptos", para que el maestro pueda tomar la decisión perfecta cada vez.

Resumen Técnico: Evaluación de los Impactos de Conjuntos de Datos Imperfectos en la Selección de Clientes en el Aprendizaje Federado

Planteamiento del Problema

El Aprendizaje Federado (FL, por sus siglas en inglés) permite el entrenamiento de modelos descentralizados preservando la privacidad de los clientes, pero enfrenta desafíos significativos cuando los clientes poseen conjuntos de datos imperfectos. Estas imperfecciones incluyen datos no independientes e idénticamente distribuidos (no-IID) (que se manifiestan como sesgo de cantidad, sesgo de etiquetas y sesgo de características) y datos con ruido (muestras mal etiquetadas). Tales condiciones pueden degradar la precisión del modelo y aumentar la latencia de convergencia.

Aunque se emplean estrategias de selección de clientes para mitigar estos problemas mediante la exclusión de clientes problemáticos, un proceso de selección excesivamente sesgado puede perjudicar inadvertidamente el rendimiento del aprendizaje. Específicamente, existe una tensión no resuelta entre la equidad (garantizar la participación equilibrada para prevenir la convergencia hacia óptimos locales) y la calidad (excluir a clientes con problemas de datos severos). Además, la literatura existente carece de un método integral y que preserve la privacidad para predecir la contribución de un cliente al modelo global sin acceder a sus distribuciones de datos locales.

Metodología

1. Análisis Experimental de Datos Imperfectos

Los autores realizaron experimentos extensos utilizando los conjuntos de datos MNIST y CIFAR-10 con 100 clientes y el algoritmo FedAvg para cuantificar los impactos de diversas imperfecciones de datos:

Tamaño del Conjunto de Datos: Se verificó que los conjuntos de datos más grandes se correlacionan con una mejor precisión y una convergencia más rápida.
Sesgo de Etiquetas: Se probaron seis escenarios que van desde distribuciones IID hasta distribuciones extremas de una sola etiqueta. Los resultados indicaron que, si bien el sesgo de etiquetas generalmente degrada el rendimiento, la severidad varía según la tarea (por ejemplo, MNIST mostró mayor resiliencia en comparación con CIFAR-10).
Muestras Mal Etiquetadas: Se evaluó el mal etiquetado aleatorio, secuencial y cíclico. El estudio encontró que el mal etiquetado causa una caída de rendimiento más pronunciada que el sesgo de etiquetas, siendo el mal etiquetado secuencial (donde las etiquetas se desplazan) el que provoca el fallo del aprendizaje en grados altos.
Equidad vs. Selección Injusta:
- En entornos con sesgo de etiquetas, la selección "Justa" (participación uniforme y aleatoria) mejoró significamente la precisión en comparación con la selección "Injusta" (excluir clientes sesgados), aunque requirió más rondas para converger.
- En entornos con mal etiquetado, la selección "Injusta" (excluir clientes con datos mal etiquetados) superó a la selección justa, ya que las muestras mal etiquetadas no proporcionan información de aprendizaje valiosa.

2. Mecanismo de Puntuación Propuesto

Para abordar la necesidad de una evaluación de clientes que preserve la privacidad, el artículo propone un sistema de puntuación compuesto que evalúa a los clientes basándose en el tamaño de los datos, la calidad y el historial de participación sin acceder a las distribuciones de datos locales.

Puntuación de Tamaño de Datos ( $d_i$ ): Una métrica normalizada (0 a 1) basada en el tamaño del conjunto de datos del cliente en relación con el tamaño mínimo y máximo en el conjunto de clientes.
Puntuación de Calidad ( $q_i$ ): Una evaluación basada en el servidor calculada al final de cada ronda de entrenamiento. El servidor evalúa el modelo subido por el cliente en un conjunto de datos de prueba global. La puntuación se normaliza basándose en la precisión de prueba del cliente en relación con la precisión mínima y máxima observada entre todos los clientes. Esto captura el impacto conjunto del sesgo de etiquetas y el mal etiquetado.
Puntuación de Equidad ( $f_i^t$ ): Una puntuación dinámica que aumenta por una constante $\beta$ por cada ronda en la que un cliente no es seleccionado y se reinicia/disminuye si es seleccionado. Esto asegura que se priorice a los clientes con largos periodos de inactividad.

3. Mecanismo de Selección Adaptativa

El artículo introduce un mecanismo adaptativo para equilibrar la equidad y la calidad basándose en la varianza de las Puntuaciones de Calidad entre los clientes disponibles:

Varianza Baja: Indica una calidad de datos homogénea (ni un sesgo severo ni mal etiquetado). El mecanismo prioriza la equidad, seleccionando clientes con altas Puntuaciones de Equidad.
Varianza Alta: Indica una heterogeneidad significativa (probablemente mal etiquetado severo o sesgo). El mecanismo prioriza la calidad, expandiendo el grupo de candidatos para asegurar que se seleccionen clientes de alta calidad independientemente de su puntuación de equidad.
El número de clientes seleccionados ( $L_{fair}^t$ ) se ajusta dinámicamente utilizando una fórmula que involucra la varianza de las Puntuaciones de Calidad, un parámetro de sensibilidad ( $\alpha_1$ ) y un parámetro de proporción mínima ( $\alpha_2$ ).

Resultados Clave

Impacto del Mal Etiquetado: Se identificó que el mal etiquetado secuencial es el factor más perjudicial, causando el fallo del aprendizaje en casos extremos. Esto sugiere que los clientes con un mal etiquetado severo deben ser excluidos.
Equidad Dependiente del Contexto: Los experimentos demostraron que la estrategia de selección óptima depende del contexto. La equidad es beneficiosa cuando la heterogeneidad de los datos proviene del sesgo de etiquetas, pero es perjudicial cuando proviene del mal etiquetado.
Efectividad de la Puntuación: La Puntuación de Calidad propuesta se correlacionó exitosamente con la calidad de los datos. En los experimentos de sesgo de etiquetas, las puntuaciones aumentaron con la diversidad de etiquetas (hasta un punto donde el recuento de muestras por etiqueta se volvió demasiado bajo). En los experimentos de mal etiquetado, las puntuaciones disminuyeron a medida que aumentaba la tasa de mal etiquetado.
Desempeño Adaptativo: El mecanismo adaptativo navegó con éxito la compensación, priorizando la equidad cuando los datos eran relativamente limpios y priorizando la calidad cuando la heterogeneidad de los datos era alta.

Significancia y Reivindicaciones

El artículo afirma proporcionar un análisis exhaustivo de cómo diferentes tipos de datos imperfectos (sesgo de cantidad, sesgo de etiquetas y mal etiquetado) afectan el rendimiento del FL. Su contribución principal es la demostración de que una única estrategia de selección de clientes es insuficiente; la estrategia debe adaptarse a la fuente dominante de heterogeneidad.

Los autores proponen un marco de puntuación que preserva la privacidad que permite al servidor evaluar las contribuciones de los clientes utilizando únicamente los resultados de las pruebas globales y los tamaños de los conjuntos de datos, evitando la necesidad de inspeccionar las distribuciones de datos locales. La significancia radica en el mecanismo adaptativo que equilibra dinámicamente los objetivos contrapuestos de equidad y calidad de datos, reconociendo que la equidad puede ser perjudicial cuando los clientes poseen datos severamente mal etiquetados.

Los autores señalan modestamente una limitación: la Puntuación de Calidad actual captura el impacto conjunto del sesgo de etiquetas y el mal etiquetado, pero no puede distinguir entre ambos. En consecuencia, el mecanismo adaptativo trata la alta varianza de forma conservadora (priorizando la calidad), lo que puede ser subóptimo si la varianza es causada únicamente por el sesgo de etiquetas y no por el mal etiquetado. Se sugiere como trabajo futuro el desarrollo de métricas separadas para cuantificar estos factores de forma independiente.