(Un)fair devices: Moving beyond AI accuracy in personal sensing

Esta revisión de literatura advierte sobre los sesgos ocultos en los modelos de aprendizaje automático de dispositivos personales, como los relojes inteligentes y anillos, y aboga por un enfoque centrado en el ser humano para garantizar evaluaciones justas que vayan más allá de la simple precisión técnica.

Lo esencial

Imagina que tus dispositivos personales (tu reloj inteligente, tu anillo de sueño, tu teléfono) son como pequeños médicos o entrenadores personales que viven en tu bolsillo o en tu muñeca. Estos "médicos digitales" están siempre vigilantes: cuentan tus pasos, monitorean tu corazón, analizan tu voz y hasta intentan predecir si vas a enfermarte.

Pero, ¿qué pasa si estos médicos tienen gafas de sol deformes?

Este artículo, titulado "Dispositivos (In)justos", nos cuenta una historia importante: aunque estos dispositivos son increíblemente avanzados y usan inteligencia artificial (IA) para aprender de nosotros, a menudo no son justos para todos. Funcionan muy bien para algunas personas, pero fallan estrepitosamente para otras, a veces sin que nadie se dé cuenta.

Aquí tienes la explicación sencilla, con algunas analogías para que lo entiendas mejor:

1. El Problema: El "Entrenador" que solo conoce a un tipo de atleta

Imagina que entrenas a un equipo de fútbol, pero solo has entrenado con jugadores altos y rubios.

• Si llega un jugador bajo, con pelo rizado o de otra etnia, tu entrenador (la Inteligencia Artificial) no sabrá cómo manejarlo. Podría pensar que es un error del sistema o que el jugador no está jugando bien, cuando en realidad es solo que el entrenador nunca ha visto a alguien así antes.

En el mundo de los dispositivos, esto sucede porque:

• Los datos son sesgados: La mayoría de los estudios se hacen con personas jóvenes, blancas, educadas y de países occidentales (lo que los autores llaman "población WEIRD").
• El resultado: Un reloj que mide tu oxígeno en sangre podría decir que estás bien cuando en realidad tienes un problema, simplemente porque tu tono de piel es más oscuro y el sensor no fue entrenado para verlo bien. O un micrófono podría no entender tu acento o tu voz porque fue programado pensando en voces masculinas estándar.

2. La Trampa: La "Precisión" no es lo mismo que la "Justicia"

Hasta ahora, los fabricantes de tecnología han estado obsesionados con una sola métrica: ¿Qué tan preciso es el dispositivo? (¿Acierta el 99% de las veces?).

El artículo dice: "¡Eso no es suficiente!".

• Analogía: Imagina un termómetro que siempre marca 37°C. Es muy "preciso" en el sentido de que siempre da el mismo número, pero si tú tienes fiebre de 40°C, el termómetro te está mintiendo.
• En los dispositivos, un algoritmo puede ser "preciso" en promedio (porque funciona bien para la mayoría), pero si falla estrepitosamente para un grupo específico (por ejemplo, mujeres o personas mayores), ese dispositivo es injusto. Y en temas de salud, una injusticia puede ser peligrosa.

3. ¿Por qué es tan difícil de detectar?

En una foto, es fácil ver si alguien es de piel oscura o clara. Pero en los sensores de un reloj inteligente, la información es invisible y compleja.

• Analogía: Es como intentar adivinar si alguien tiene frío solo escuchando el sonido de sus pasos. Si la persona es mayor, sus pasos son más lentos; si es joven, más rápidos. El dispositivo confunde la edad con la temperatura.
• Estos sesgos se mezclan en el fondo, como un ruido de fondo en una canción. A veces, el dispositivo no falla porque el sensor está roto, sino porque el "cerebro" (el algoritmo) no entiende que el cuerpo de una persona obesa o de una mujer se mueve de forma diferente al de un hombre promedio.

4. La Solución: "Justicia por Diseño" (Fairness by Design)

El artículo propone que no podemos arreglar esto solo al final, cuando el dispositivo ya está en el mercado. Tenemos que pensar en la justicia desde el primer día, como si fuera un ingrediente esencial en una receta, no un adorno.

Ellos ofrecen 14 reglas de oro (o un manual de instrucciones) para los creadores de tecnología:

1. No solo busques "precisión": Pregúntate: "¿Funciona esto igual de bien para todos?".
2. Entrena con diversidad: No uses solo datos de estudiantes universitarios. Busca personas de todas las edades, pesos, tonos de piel y orígenes.
3. Escucha las voces que no se oyen: Si el dispositivo no funciona bien para un grupo, no lo ignores. Ajusta el algoritmo para que los entienda.
4. Sé transparente: Si cambias el software, di cómo afecta a diferentes personas.

En resumen

La Inteligencia Artificial en nuestros dispositivos es como un nuevo superpoder. Pero si ese superpoder solo funciona para una parte de la humanidad, no es un superpoder para todos; es una herramienta de desigualdad.

Este artículo nos pide que dejemos de preguntar solo "¿Funciona?" y empecemos a preguntar "¿Funciona para mí, para ti y para todos?". Porque un dispositivo que no es justo, por muy inteligente que sea, en realidad no es inteligente.

Resumen técnico

Resumen Técnico: (In)justicia en Dispositivos Personales

1. El Problema

Los dispositivos personales (wearables, sensores móviles) han evolucionado de simples contadores de pasos a instrumentos médicos miniaturizados capaces de predecir condiciones de salud críticas (como fibrilación auricular, apnea del sueño o infecciones por COVID-19). Estos sistemas dependen de flujos de datos ricos procesados por modelos de Aprendizaje Automático (ML).

El problema central identificado es que, aunque estos dispositivos prometen equidad y salud proactiva, sus algoritmos y datos subyacentes no son inmunes a sesgos. A diferencia de los conjuntos de datos tradicionales de ML (tabulares, estáticos), los datos de dispositivos personales son:

• Secuenciales y temporales: Difíciles de auditar para detectar sesgos demográficos ocultos.
• Mutable y longitudinal: Cambian con el tiempo y el contexto del usuario.
• Ambiguos: Una señal de sensor (ej. frecuencia cardíaca) puede verse afectada por factores externos (estrés, alcohol) o características fisiológicas (peso, tono de piel) que no se capturan explícitamente.

La literatura actual prioriza la precisión sobre la justicia, lo que resulta en algoritmos que pueden fallar sistemáticamente para grupos demográficos específicos (raza, género, edad, peso), exacerbando disparidades en la atención médica y la calidad de vida.

2. Metodología

Los autores realizaron una revisión sistemática de la literatura siguiendo el protocolo de Kitchenham y Charters para garantizar la calidad y reproducibilidad.

• Fuente de Datos: Se centraron en las actas de la conferencia principal de la comunidad: Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (IMWUT), entre 2018 y 2025. También se validó la generalización en otras conferencias clave (MobiCom, MobiSys, SenSys) y revistas IEEE.
• Criterios de Búsqueda: Se utilizaron términos relacionados con computación móvil/wearable, ML y justicia/fairness (incluyendo principios de IA responsable de grandes tecnológicas).
• Proceso de Filtrado:
  • Se recuperaron 957 artículos iniciales.
  • Se aplicaron criterios de exclusión estrictos: el artículo debía tener una evaluación cuantitativa empírica y una evaluación de sesgo o discrepancia de rendimiento respecto a atributos sensibles (edad, género, raza, discapacidad, estado socioeconómico, etc.).
  • Resultado final: Solo 89 artículos (9%) cumplieron los criterios de inclusión.
• Análisis: Se examinaron los dominios de aplicación, los tipos de sesgos reportados, las métricas de justicia utilizadas y los mecanismos de mitigación empleados.

3. Contribuciones Clave

El artículo ofrece tres contribuciones fundamentales:

1. Evidencia Empírica de Sesgos Ocultos: Documenta cómo los sesgos se filtran en los dispositivos personales a través de señales acústicas, de radiofrecuencia (RF), visión por computadora y sensores inerciales, afectando desproporcionadamente a minorías y grupos marginados.
2. Diagnóstico de la Brecha de Investigación: Demuestra que la comunidad de computación ubicua ignora casi por completo la evaluación de justicia. Solo un pequeño porcentaje de los trabajos evalúa el rendimiento por subgrupos demográficos, y aún menos proponen mecanismos de mitigación.
3. Guía "Fairness by Design" (Justicia por Diseño): Propone un marco de 14 recomendaciones específicas para el ciclo de vida de los dispositivos personales, adaptadas a sus desafíos únicos (datos temporales, despliegue en el mundo real, limitaciones de hardware).

4. Resultados y Hallazgos Principales

A. Naturaleza de los Sesgos Detectados:

• Sesgos Acústicos: Los sistemas de monitoreo respiratorio y de voz tienen menor precisión en mujeres (frecuencias más altas), personas con mayor IMC (obstrucción de señales) y niños (patrones de movimiento variables).
• Sesgos de RF y Radar: El monitoreo de sueño y respiración sin contacto falla en personas con apnea severa o cuerpos más grandes debido a la atenuación de la señal.
• Sesgos Visuales: La fotopletismografía (PPG) y la detección de venas tienen menor precisión en tonos de piel oscuros y en personas con sobrepeso.
• Sesgos en Sensores Inerciales (IMU): La detección de la marcha es menos precisa en ancianos (cambios en el patrón de caminata) y en pacientes con enfermedades neurológicas graves.

B. Deficiencias en los Datos (El problema de los datos WEIRD):

• Subrepresentación: La mayoría de los estudios utilizan muestras "WEIRD" (Occidentales, Educadas, Industrializadas, Ricas y Democráticas).
• Falta de Reporte: De los artículos revisados, solo el 10% reportó la raza de los participantes (y de esos, el 89% eran blancos). La edad y el nivel educativo también están subreportados.
• Consecuencia: Los modelos se entrenan y validan en poblaciones jóvenes y sanas, lo que lleva a fallos cuando se despliegan en poblaciones reales diversas (ej. ancianos o minorías étnicas).

C. Estado de la Mitigación:

• A pesar de identificar sesgos, 3 de cada 4 artículos incluidos no propusieron ningún mecanismo de mejora de la justicia.
• Las pocas soluciones existentes se centran en:
  • Pre-procesamiento: Balanceo de datos y selección de clientes en aprendizaje federado.
  • In-procesamiento: Funciones de pérdida multi-tarea y representaciones disociadas.
  • Post-procesamiento: Calibración basada en tono de piel o estimaciones personalizadas.

5. Significado y Recomendaciones ("Fairness by Design")

El artículo concluye que la comunidad debe pasar de la evaluación puramente basada en la precisión a una evaluación centrada en el ser humano. Se proponen 14 directrices divididas en cuatro fases:

1. Recolección y Anotación de Datos:

   • Identificar sesgos potenciales más allá de los atributos protegidos legalmente (ej. fisiología, IMC).
   • Recrutar muestras diversas y suficientes.
   • Involucrar a anotadores diversos y entrenarlos en sesgos implícitos.
   • Reportar atributos protegidos (anonimizados) para permitir auditorías.

2. Exploración y Manipulación de Datos:

   • Validar datos cruzando grupos para detectar anomalías sistemáticas.
   • Investigar fuentes de error de medición (ej. ajuste del dispositivo en muñecas pequeñas).
   • Considerar cómo el pre-procesamiento (ventanas, muestreo) afecta a diferentes demografías.

3. Desarrollo y Evaluación del Modelo:

   • Utilizar herramientas de mitigación de sesgos (ej. FairLearn, AIF360), adaptadas para series temporales.
   • Considerar nociones indirectas de justicia (ej. exclusión de dispositivos de gama baja en aprendizaje federado).
   • Evaluar el rendimiento con métricas de justicia para grupos interseccionales y en escenarios de regresión.
   • Generar datos sintéticos diversos para cubrir atributos protegidos faltantes.

4. Despliegue y Uso:

   • Monitorear el rendimiento en tiempo real para detectar drift (desviación) de datos y justicia.
   • Reevaluar el modelo con datos recolectados post-despliegue (usando protocolos no supervisados si faltan etiquetas).
   • Garantizar transparencia en la versionado de modelos para rastrear cambios que afecten a grupos específicos.

Conclusión Final:
La investigación en dispositivos personales debe reconocer que la justicia no es un subproducto de la precisión, sino un requisito fundamental. Sin una evaluación proactiva de la equidad, estas tecnologías corren el riesgo de automatizar y amplificar desigualdades sociales y de salud, especialmente en aplicaciones de alto riesgo como el diagnóstico médico. El enfoque "Fairness by Design" es esencial para construir sistemas que sean tanto precisos como éticamente justos para todos los usuarios.