Towards a Fairer Non-negative Matrix Factorization

Este artículo propone un enfoque de factorización de matrices no negativas (NMF) con una formulación min-max para mejorar la equidad en la descomposición de datos, presentando algoritmos de optimización y demostrando mediante experimentos que, si bien puede reducir el sesgo entre grupos, a menudo implica un compromiso con el error individual y requiere una adaptación cuidadosa al contexto de aplicación.

Lo esencial

¡Hola! Imagina que tienes un gigantesco rompecabezas que representa a toda la humanidad. Este rompecabezas tiene millones de piezas (datos) de diferentes colores, formas y tamaños.

El objetivo de la Factorización de Matrices No Negativas (NMF), la técnica que estudia este artículo, es intentar encontrar las pocas piezas clave (llamadas "temas" o "patrones") que pueden armar la mayoría del rompecabezas. Es como decir: "Si solo puedo usar 5 formas básicas para explicar todo este dibujo, ¿cuáles son?".

El Problema: El "Promedio" no es justo

El problema con el método tradicional (el "viejo" NMF) es que busca el promedio. Imagina que tienes un grupo de 100 personas: 90 son gigantes y 10 son enanos.

• Si intentas diseñar una silla que le sirva a todos, el método tradicional dirá: "Hagamos una silla gigante, porque así le sirve a la mayoría".
• Resultado: Los 90 gigantes están cómodos, pero los 10 enanos no caben y se caen. El "error" (la incomodidad) de los enanos es enorme, pero como son pocos, el promedio de incomodidad sigue siendo bajo.

En el mundo de la Inteligencia Artificial, esto significa que los algoritmos suelen funcionar muy bien para la mayoría de la población, pero fallan estrepitosamente con los grupos pequeños o minoritarios (por ejemplo, personas de ciertas razas, géneros o con enfermedades raras).

La Solución: "Fairer-NMF" (NMF más Justo)

Los autores de este paper proponen una nueva forma de armar ese rompecabezas, a la que llaman Fairer-NMF. En lugar de preocuparse solo por el promedio, su método se pregunta:

"¿Qué tan mal le está yendo al grupo que más lo está pasando mal?"

Imagina que eres un maestro de escuela. El método tradicional mira la nota promedio de la clase y dice: "¡Todo bien!". Pero el método Fairer-NMF mira al estudiante que tiene la nota más baja y dice: "¡Espera! Este niño no entiende nada. Vamos a cambiar la forma de enseñar para que nadie se quede atrás, incluso si eso significa que los niños que ya sabían todo tengan que esforzarse un poquito más".

¿Cómo lo hacen? (La Analogía del Min-Max)

Ellos usan una estrategia llamada "Min-Max" (Minimizar el Máximo).

1. El objetivo: No es que todos tengan exactamente la misma nota, sino que la peor nota de todos los grupos sea lo más alta posible.
2. El truco: A veces, para que el grupo pequeño (los enanos) tenga una silla que les sirva, la silla para los gigantes (la mayoría) tendrá que ser un poco menos perfecta.
   • ¿Es esto justo? Depende. A veces, mejorar la vida de los más vulnerables requiere un pequeño sacrificio de la mayoría. El paper admite que esto a veces aumenta el error para algunos individuos, pero el objetivo es evitar que nadie quede completamente excluido.

Dos Maneras de Resolverlo (Los Algoritmos)

Para lograr esto, los autores crearon dos "recetas" o algoritmos:

1. El Método Alternante (AM): Es como un arquitecto muy cuidadoso. Revisa el plano, ajusta una pieza, luego revisa otra, y vuelve a ajustar. Es muy preciso y logra un resultado muy equilibrado, pero es lento. Como quien cocina un guiso a fuego lento: tarda horas, pero queda perfecto.
2. El Método de Actualizaciones Multiplicativas (MU): Es como un chef rápido y ágil. Hace ajustes rápidos y grandes en cada paso. Es muy veloz (mucho más rápido que el arquitecto), pero a veces puede ser un poco menos preciso o "oscilar" un poco antes de encontrar el equilibrio perfecto.

¿Qué descubrieron?

Hicieron pruebas con datos reales (como registros médicos de enfermedades del corazón y noticias de internet) y datos inventados:

• En los datos médicos: El método tradicional favorecía a un género sobre otro. El nuevo método logró que la "incomodidad" (error) fuera similar para ambos, aunque a veces eso significó que el grupo mayoritario tuvo un error un poco más alto que antes.
• En las noticias: Hubo un grupo de noticias ("Ventas") que el método tradicional ignoraba casi por completo. El nuevo método logró que ese grupo tuviera un tratamiento mucho más justo.

La Conclusión Importante

El mensaje final de los autores es muy honesto y maduro: No existe un algoritmo "perfecto" o "justo" para todo.

• A veces, intentar ser justo puede hacer que el sistema sea un poco menos preciso para algunos.
• La "justicia" depende de para qué se use el algoritmo. En medicina, quizás es mejor sacrificar un poco de precisión general para asegurar que nadie (ni siquiera el grupo pequeño) sea diagnosticado mal.
• La elección del método depende de lo que tú, como humano, decidas que es más importante en tu situación específica.

En resumen: Este paper nos dice que la Inteligencia Artificial no tiene por qué ser ciega a las minorías. Podemos diseñar algoritmos que se preocupen por el "peor caso" y no solo por el promedio, aunque eso requiera un poco más de esfuerzo computacional y un poco de reflexión sobre qué significa realmente ser justo.

Resumen técnico

Resumen Técnico: Hacia una Factorización de Matrices No Negativas (NMF) más Justa

1. El Problema: Sesgo y Desigualdad en la NMF Estándar

El aprendizaje automático (ML) y la inteligencia artificial (IA) han proliferado en la sociedad, pero a menudo perpetúan sesgos que afectan la justicia social y racial. Un problema central es la falta de equidad en la representación de datos y el tratamiento algorítmico de subgrupos poblacionales.

Los autores se centran en la Factorización de Matrices No Negativas (NMF), una técnica fundamental para el modelado de temas y la reducción de dimensionalidad no supervisada. La NMF estándar busca minimizar el error de reconstrucción promedio global ($\|X - WH\|^2$).

• La causa de la injusticia: Al minimizar el error promedio, la NMF tiende a favorecer a los grupos mayoritarios o a los grupos con estructuras de datos más simples (menor rango).
• Consecuencia: Los grupos minoritarios o aquellos con mayor complejidad intrínseca sufren errores de reconstrucción significativamente más altos. Esto es crítico en aplicaciones como diagnósticos médicos o justicia penal, donde un error en un subgrupo desatendido puede causar daños severos.
• Limitación actual: Las soluciones existentes de "NMF justa" a menudo se centran en sistemas de recomendación o utilizan penalizaciones suaves, sin abordar directamente la estructura de optimización con restricciones de no negatividad dura bajo un marco de equidad riguroso.

2. Metodología: El Marco "Fairer-NMF"

El artículo propone un nuevo objetivo de optimización llamado Fairer-NMF, inspirado en el trabajo sobre "Fair PCA" (Samadi et al., 2018), pero adaptado a las restricciones de no negatividad de la NMF.

A. Definición de la Pérdida Relativa de Reconstrucción
En lugar de minimizar el error absoluto, el método introduce una métrica de pérdida relativa que compara el rendimiento de un grupo dentro del modelo global frente a su rendimiento óptimo si se modelara por separado.
Para un grupo $\ell$ con matriz de datos $X_\ell$, la pérdida relativa se define como:
$$\text{Pérdida}_\ell = \frac{\|X_\ell - W_\ell H\| - E_\ell}{\|X_\ell\|}$$
Donde:

• $W_\ell H$ es la aproximación del grupo $\ell$ dentro del modelo global compartido.
• $E_\ell$ es un valor de referencia (error óptimo esperado) estimado mediante una implementación aleatorizada de NMF de rango $r$ aplicada solo al grupo $\ell$.
• El denominador normaliza por la magnitud del grupo.

B. Formulación Min-Max (Equidad Social)
El objetivo es encontrar una matriz de diccionario común $H$ y matrices de representación $W$ que minimicen la máxima pérdida relativa entre todos los grupos:
$$\min_{W, H} \max_{\ell \in \{1, \dots, L\}} \left( \frac{\|X_\ell - W_\ell H\| - E_\ell}{\|X_\ell\|} \right)$$
Este enfoque de min-max busca que el grupo con el peor rendimiento (mayor pérdida) mejore su situación, incluso si esto implica un ligero aumento en el error de los grupos que ya se desempeñaban bien.

C. Algoritmos de Solución
Debido a que el problema es no convexo, los autores derivan dos algoritmos para resolverlo:

1. Esquema de Minimización Alternada (AM):

   • Alterna entre optimizar $H$ (manteniendo $W$ fijo) y optimizar $W$ (manteniendo $H$ fijo).
   • La actualización de $H$ se formula como un Programa de Cono de Segundo Orden (SOCP) para manejar la función objetivo max.
   • La actualización de $W$ se formula como un problema de Mínimos Cuadrados No Negativos (NNLS).
   • Ventaja: Garantiza convergencia a un mínimo local con propiedades de no aumento de la función de pérdida.
   • Desventaja: Computacionalmente costoso (requiere solucionadores convexos especializados como ECOS o SCS).

2. Esquema de Actualizaciones Multiplicativas (MU):

   • Adapta el algoritmo clásico de Lee & Seung (2000) al marco min-max.
   • Introduce un vector de pesos $c$ que identifica dinámicamente el grupo con la mayor pérdida en cada iteración.
   • Construye matrices ponderadas $\tilde{X}$ y $\tilde{W}$ basadas en el grupo más desfavorecido para actualizar $H$ mediante reglas multiplicativas estándar.
   • Ventaja: Extremadamente rápido, fácil de implementar y no requiere solucionadores convexos externos.
   • Desventaja: Puede mostrar mayor varianza en la convergencia en comparación con AM.

3. Contribuciones Clave

1. Identificación de Inequidad: Demostración empírica y teórica de cómo la NMF estándar ignora la complejidad y el tamaño de los subgrupos, generando resultados injustos.
2. Nueva Formulación: Propuesta de Fairer-NMF, un marco de optimización min-max que incorpora la complejidad del grupo (vía $E_\ell$) y el tamaño en la función objetivo.
3. Algoritmos Derivados: Desarrollo de dos métodos de solución (AM y MU) específicos para la NMF justa, manejando las restricciones de no negatividad.
4. Transparencia y Realismo: Reconocimiento explícito de que la "justicia" no es absoluta; el método puede mejorar la equidad global pero a veces aumentar el error para individuos específicos, dependiendo del contexto de aplicación.

4. Resultados Experimentales

Los autores probaron sus algoritmos en conjuntos de datos sintéticos y reales (Cleveland Heart Disease, 20Newsgroups):

• Datos Sintéticos:
  • En escenarios con grupos de diferente rango (complejidad), la NMF estándar favorecía masivamente al grupo de menor rango. Fairer-NMF logró equilibrar la pérdida relativa entre ambos grupos.
  • Se observó que, al forzar la equidad, el error absoluto de algunos grupos podía aumentar ligeramente, pero la disparidad se reducía drásticamente.
• Conjunto de Datos de Enfermedad Cardíaca:
  • Al dividir por sexo (hombres vs. mujeres), la NMF estándar favorecía ligeramente a las mujeres (menor error). Fairer-NMF igualó la pérdida relativa entre ambos grupos, aunque en algunos rangos de rango bajo, el error absoluto de un grupo aumentó para beneficiar al otro.
• Conjunto de Datos 20Newsgroups:
  • En temas de texto, ciertos grupos (como "Ventas") sufrían altos errores en la NMF estándar debido a su estructura única. Fairer-NMF logró que los errores de reconstrucción de todos los temas fueran comparables a los obtenidos si se entrenaran modelos individuales para cada tema.
• Comparación de Algoritmos:
  • AM: Más consistente y robusto, pero lento (puede tardar horas en conjuntos grandes).
  • MU: Significativamente más rápido (segundos), con un rendimiento comparable en la mayoría de los casos, aunque con mayor variabilidad en la convergencia.

5. Significado y Conclusión

El trabajo es un paso crucial hacia la transparencia y la equidad en el ML no supervisado.

• Impacto Práctico: Proporciona a los practicantes una herramienta para mitigar sesgos en tareas de extracción de características y modelado de temas, especialmente cuando los datos están desequilibrados.
• Advertencia Ética: Los autores enfatizan que no existe una solución "única" para la justicia. La aplicación de Fairer-NMF debe hacerse con cuidado, ya que mejorar la equidad para un grupo puede degradar el rendimiento para otro. La elección del método debe depender del contexto de la aplicación (ej. en medicina, el costo de un falso negativo puede ser vital).
• Futuro: Se sugiere que la identificación de los subgrupos (si no son conocidos a priori) y la exploración de otros criterios de equidad son direcciones importantes para futuras investigaciones.

En resumen, el artículo demuestra que es posible modificar la NMF para priorizar la equidad entre grupos sin sacrificar completamente la utilidad del modelo, ofreciendo algoritmos prácticos para implementar esta visión en el mundo real.