Fairness-in-the-Workflow: How Machine Learning Practitioners at Big Tech Companies Approach Fairness in Recommender Systems

Mediante un estudio de entrevistas con 11 practicantes de grandes empresas tecnológicas, este artículo examina cómo se aborda la equidad en los sistemas de recomendación, identificando desafíos clave en la definición de conceptos, el equilibrio de intereses y la comunicación interdepartamental, para ofrecer recomendaciones prácticas a la comunidad.

Lo esencial

Imagina que las plataformas de recomendación (como las que usa Netflix para sugerir películas, Amazon para productos o TikTok para videos) son como grandes chefs en una cocina gigante que alimenta a miles de millones de personas.

El problema es que, a veces, estos chefs tienen "gustos" o "prejuicios" inconscientes. Quizás siempre recomiendan comida picante porque a ellos les gusta, o quizás solo muestran platos de un solo tipo de restaurante, ignorando a los demás. En el mundo real, esto significa que ciertos grupos de personas podrían no ver oportunidades, o que se les muestre información sesgada, lo cual puede afectar la sociedad a gran escala.

Este estudio es como una entrevista con los jefes de cocina (los ingenieros de inteligencia artificial) de las grandes empresas tecnológicas para preguntarles: "¿Cómo intentan asegurarse de que su menú sea justo para todos?".

Aquí te explico lo que descubrieron, usando analogías sencillas:

1. El Mapa de la Cocina (Cómo trabajan)

Los investigadores dibujaron un mapa de cómo funciona el trabajo de estos ingenieros. Es como un proceso de dos etapas:

• La etapa de preparación (Offline): Aquí los chefs preparan los ingredientes (datos) y prueban las recetas en la cocina, sin clientes reales. Es donde hablan con los abogados (para asegurarse de que no violen leyes) y con el equipo de datos (para conseguir los ingredientes).
• La etapa de servicio (Online): Aquí abren el restaurante. Los clientes (usuarios) empiezan a pedir platos y a dar sus opiniones (gustos, clics, quejas). Los ingenieros observan cómo reaccionan los clientes y ajustan la receta en tiempo real.

El hallazgo clave: La "justicia" no es algo que se añade al final como un adorno. Debería estar presente en cada paso, desde elegir los ingredientes hasta servir el plato.

2. Los Retos Técnicos: ¿Qué hace difícil ser un chef justo?

Los ingenieros enfrentaron tres grandes obstáculos para cocinar de forma justa:

• El dilema del "Sabor Justo" (Definir la justicia):
  En la academia, hay muchas fórmulas matemáticas para medir la justicia. Pero en la vida real, es como si te dijeran: "Haz un plato que sea justo". ¿Qué significa eso? ¿Que todos coman lo mismo? ¿Que todos tengan la misma cantidad de sal? ¿O que cada uno coma lo que le gusta?

  • La analogía: Es como intentar cocinar un plato que le guste igual a un vegetariano, a un amante de la carne y a alguien que solo come picante. A veces, lo que es "justo" para un grupo (mostrar más contenido a creadores nuevos) puede parecer "injusto" para otro (los usuarios que quieren ver solo a sus estrellas favoritas). Los ingenieros a menudo tienen que inventar sus propias reglas porque las fórmulas de los libros de texto no encajan en su cocina gigante.

• El problema de los "Demasiados Grupos" (Múltiples intereses):
  Estas plataformas tienen miles de millones de usuarios y millones de creadores.

  • La analogía: Imagina que tienes que organizar una fiesta para 100 grupos diferentes de amigos, y cada grupo quiere música distinta. Si pones rock, los fans de jazz se quejan. Si pones jazz, los de rock se van. Además, hay grupos dentro de grupos (interseccionalidad). Los ingenieros se sienten abrumados intentando asegurar que nadie se sienta excluido en medio de tanta gente.

• El efecto "Bola de Nieve" (Entornos dinámicos):
  Las recomendaciones cambian lo que la gente hace, y lo que la gente hace cambia las recomendaciones.

  • La analogía: Si el chef recomienda mucho un plato picante, la gente empieza a pedirlo más. El chef piensa: "¡A todos les gusta el picante!", y recomienda más picante. Pero en realidad, solo estaba creando un bucle donde la gente se acostumbró al picante. A veces, los ingenieros no se dan cuenta de que están creando un sesgo hasta que el sistema ya está funcionando y la "bola de nieve" es demasiado grande para detenerla.

3. Los Retos Organizacionales: ¿Por qué no lo hacen mejor?

No es solo un problema de matemáticas; es un problema de tiempo y comunicación.

• La falta de tiempo (El reloj corre):
  Los ingenieros tienen plazos muy ajustados. Su trabajo principal es que la app no se caiga y funcione rápido.

  • La analogía: Imagina que eres un chef en un restaurante concurrido. Si el plato sale caliente y rápido, el cliente está feliz. Si pasas 20 minutos extra asegurándote de que el plato sea "ético" o "justo", el cliente se enfada porque tiene hambre. Los ingenieros dicen: "Me gustaría dedicar más tiempo a la justicia, pero mi jefe me pide que el sistema esté en línea". La justicia a menudo se queda en segundo plano porque no es una "emergencia" inmediata como un servidor caído.

• Hablan idiomas diferentes (Falta de "Lingua Franca"):
  Los ingenieros hablan un idioma técnico (código, algoritmos), mientras que los equipos de "justicia" o "ética" hablan un idioma de ciencias sociales, psicología o leyes.

  • La analogía: Es como si el chef (ingeniero) y el nutricionista (equipo de ética) intentaran diseñar un menú juntos, pero el nutricionista dice: "Necesitamos más equilibrio emocional en la comida" y el chef piensa: "¿Qué significa eso? ¿Más sal? ¿Más azúcar?". A veces, el equipo de ética llega tarde a la reunión, cuando el plato ya está cocinado, y el chef dice: "Ya es muy tarde para cambiar la receta, tengo que servir esto".
  • Curiosidad: Los ingenieros decían que hablaban muy bien con los abogados (porque las leyes son claras: "No puedes hacer esto"), pero tenían mucha dificultad con los equipos de ética (porque la ética es más gris y compleja).

4. ¿Qué proponen para arreglarlo?

Los autores del estudio sugieren algunas soluciones creativas:

1. Escribir mejores recetas (Documentación): Las empresas deben llevar un registro claro de cómo decidieron qué era "justo" en cada proyecto, para que los nuevos ingenieros no tengan que empezar de cero cada vez.
2. Invertir en "cocina colaborativa": Necesitan más herramientas y tiempo para equilibrar los intereses de todos los grupos (creadores, usuarios, anunciantes) sin que nadie salga perdiendo.
3. Llevar al nutricionista a la cocina desde el inicio: En lugar de llamar al equipo de ética solo cuando el plato está listo, deberían estar presentes desde que se eligen los ingredientes.
4. Crear un diccionario común: Necesitan un lenguaje que tanto los ingenieros como los expertos en ética entiendan, para que las sugerencias de justicia sean claras y aplicables.

Conclusión

En resumen, los ingenieros de las grandes tecnológicas quieren hacer las cosas bien y creen que es importante. Pero están atrapados entre la complejidad matemática de sus sistemas, la presión por trabajar rápido y la dificultad de comunicarse con otros equipos.

La solución no es solo inventar mejores algoritmos, sino cambiar cómo trabajan juntos: más tiempo, mejor comunicación y herramientas que les ayuden a traducir la "justicia" en acciones diarias dentro de sus sistemas.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Fairness-in-the-Workflow: How Machine Learning Practitioners at Big Tech Companies Approach Fairness in Recommender Systems", estructurado según los puntos solicitados.

1. El Problema

Los sistemas de recomendación (RS) son entidades sociales y colaborativas desplegadas en dominios de alto impacto (comercio electrónico, redes sociales) que, aunque conectan proveedores y usuarios, son susceptibles a sesgos con consecuencias psicológicas, ideológicas y societales a gran escala.

El problema central identificado es la brecha entre la teoría académica y la práctica industrial. Aunque existen métodos para medir y mitigar sesgos, traducir estos principios a entornos reales es extremadamente difícil debido a:

• Definición dinámica de la equidad: La equidad no es un concepto estático; sus significados varían según el contexto y los stakeholders.
• Complejidad de múltiples partes interesadas: Los RS deben equilibrar intereses heterogéneos y a menudo conflictivos entre proveedores (creadores de contenido, vendedores) y usuarios finales.
• Entornos dinámicos y bucles de retroalimentación: Los RS operan en mercados de múltiples lados donde las interacciones usuario-sistema generan bucles de retroalimentación que pueden amplificar disparidades existentes.
• Falta de herramientas estandarizadas: Las métricas de equidad diseñadas para problemas de clasificación no siempre son aplicables a la tarea de recomendación y ranking.

2. Metodología

El estudio empleó un enfoque cualitativo basado en entrevistas semiestructuradas:

• Participantes: Se entrevistó a 11 practicantes de Machine Learning (ingenieros, investigadores y científicos) de 7 grandes empresas tecnológicas ("Big Tech").
• Perfil: Los participantes tienen una experiencia promedio de 5.36 años y trabajan en sistemas que sirven a más de mil millones de usuarios anuales. Sus roles implican tanto ingeniería como investigación.
• Procedimiento: Las entrevistas duraron entre 45 y 60 minutos. Se utilizaron preguntas abiertas para mapear los flujos de trabajo y preguntas específicas sobre desafíos técnicos y organizacionales relacionados con la equidad.
• Análisis: Se realizó un análisis temático inductivo en dos niveles:
  1. Mapeo de flujos de trabajo: Identificación de patrones comunes en el desarrollo de RS (fases offline y online) y cómo se integran las evaluaciones de equidad.
  2. Identificación de desafíos: Codificación de citas y notas para extraer temas sobre obstáculos técnicos y organizacionales.

3. Contribuciones Clave

El artículo ofrece tres contribuciones principales:

1. Un mapa del flujo de trabajo del practicante de RS: Detalla cómo los equipos técnicos abordan la equidad internamente y en colaboración con equipos legales, de datos y de equidad (o IA responsable).
2. Una visión general de los desafíos: Categoriza los obstáculos técnicos y organizacionales específicos para integrar la equidad en los flujos de trabajo de RS.
3. Recomendaciones accionables: Propone medidas para la comunidad de RS (practicantes e investigadores de HCI) para mejorar la integración de la equidad, diferenciando responsabilidades entre empresas y la comunidad académica.

4. Resultados Principales

A. Flujo de Trabajo y Fases de Equidad

El flujo de trabajo se divide en fases Offline (adquisición de datos, construcción de modelos, validación) y Online (pruebas, servicio, monitoreo). La integración de la equidad ocurre en tres fases transversales:

1. Fase de Prototipado: Interacción con equipos legales (para restricciones de datos) y desarrollo de hipótesis sobre sesgos. Los practicantes suelen crear métricas "basadas en la intuición" en lugar de usar investigación académica.
2. Fase Interna: Validación de métricas y búsqueda manual de sesgos ocultos antes del despliegue. Se destaca la dificultad de predecir el comportamiento del usuario en sistemas colaborativos.
3. Fase Colaborativa: Interacción con el equipo de equidad tras el despliegue. Aquí se recibe feedback basado en guías internas, pero a menudo los practicantes tienen discreción sobre si implementar los cambios debido a restricciones de tiempo.

B. Desafíos Técnicos

• Definir la equidad en contexto: Es difícil aplicar métricas estandarizadas, especialmente en contextos sin regulación legal clara (ej. diferencias entre RS de empleo y de citas).
• Gestión de múltiples stakeholders: Los practicantes deben equilibrar intereses conflictivos (ej. equidad para creadores vs. relevancia para usuarios) y priorizar entre múltiples tipos de equidad no conflictivos pero limitados por recursos.
• Grupos de usuarios masivos: La escala de los RS (miles de grupos e interseccionalidad) hace imposible asegurar uniformidad con métricas actuales.
• Entornos dinámicos y bucles de retroalimentación: Las pruebas offline son insuficientes porque no capturan la interacción real. Los sesgos a menudo solo se detectan después del despliegue, requiriendo métricas ad hoc y correcciones iterativas manuales.

C. Desafíos Organizacionales

• Falta de tiempo: Los practicantes dedican menos del 10% de su tiempo a la equidad. La equidad no se considera una "emergencia disruptiva" (como un tiempo de inactividad del sistema) y, por tanto, se prioriza menos.
• Falta de una "Lingua Franca" de equidad: Existe una brecha de comunicación entre los equipos técnicos y los equipos de equidad.
  • Contraste con Legal: La comunicación con equipos legales es clara y directa (reglas de "sí/no").
  • Problema con Equidad: El equipo de equidad utiliza terminología multidisciplinaria (psicología, comunicación) que los ingenieros no entienden, y a menudo dan feedback demasiado tarde o con diseños desactualizados.
• Deuda de documentación: Falta de documentación institucional sobre métricas y procesos previos de equidad, lo que obliga a reinventar soluciones constantemente.

5. Significado e Implicaciones

Este estudio es significativo porque desplaza el foco de la teoría abstracta a la realidad operativa de los sistemas de recomendación a gran escala.

• Para la Industria: Destaca la necesidad de que las grandes empresas tecnológicas inviertan en infraestructura de documentación, integren a los equipos de equidad desde las fases tempranas (prototipado) y reconozcan el trabajo de equidad como una responsabilidad explícita en lugar de un esfuerzo voluntario.
• Para la Investigación (HCI y ML): Sugiere que las herramientas académicas deben ser más flexibles, modulares y adaptativas ("ambigüedad positiva") para ser útiles en la industria. Se propone el uso de métodos de Diseño Sensible a los Valores (VSD) para ayudar a los practicantes a navegar las compensaciones entre stakeholders.
• Impacto Social: Al entender cómo se toman las decisiones de equidad en la práctica, se pueden diseñar mejores intervenciones para mitigar el daño social a gran escala que causan los algoritmos de recomendación, pasando de la teoría a la implementación efectiva.

En conclusión, el artículo argumenta que mejorar la equidad en los RS requiere no solo mejores algoritmos, sino una reestructuración de los flujos de trabajo, la comunicación interdisciplinaria y la cultura organizacional dentro de las empresas tecnológicas.