Fairness-in-the-Workflow: How Machine Learning Practitioners at Big Tech Companies Approach Fairness in Recommender Systems

Este estudo, baseado em entrevistas com profissionais de grandes empresas de tecnologia, mapeia como a equidade é abordada nos sistemas de recomendação, identificando desafios práticos e organizacionais na integração de conceitos teóricos ao fluxo de trabalho e propondo recomendações acionáveis para a comunidade.

O essencial

Imagine que os sistemas de recomendação (como os do YouTube, Netflix, Amazon ou TikTok) são como grandes maestros de uma orquestra gigante. O trabalho deles é decidir qual música tocar para cada pessoa, em qual momento, para que todos fiquem felizes.

O problema é que, às vezes, esse maestro pode ter "ouvidos" tendenciosos. Ele pode tocar mais música de um tipo específico, ignorar certos grupos de artistas ou até mesmo criar um efeito onde os famosos ficam mais famosos e os novos nunca são ouvidos. Isso é o que chamamos de viés ou injustiça no algoritmo.

Este artigo de pesquisa foi feito por um grupo de cientistas que conversou com 11 engenheiros que trabalham nas maiores empresas de tecnologia do mundo (as "Big Techs"). Eles queriam entender: "Como essas pessoas tentam consertar a orquestra para que ela toque de forma justa para todos?"

Aqui está o resumo da história, explicado de forma simples:

1. O Mapa do Trabalho (O Fluxo de Trabalho)

Os engenheiros descreveram como é o dia a dia deles. É como construir um carro:

• Fase de Prototipagem (O Projeto): Eles pedem peças (dados) aos departamentos de Jurídico (que diz o que é permitido por lei) e de Dados (que entrega as peças). É aqui que eles começam a pensar: "Será que estamos usando peças que discriminam alguém?"
• Fase Interna (A Oficina): Eles montam o motor (o modelo) e testam na garagem. Eles tentam achar falhas antes de colocar o carro na rua.
• Fase Colaborativa (A Estrada): O carro vai para a rua (é liberado para os usuários). Agora, um time especial de Justiça/Ética entra em cena para dar feedback. Eles dizem: "Ei, notei que esse carro está indo muito rápido para um grupo e muito devagar para outro".

2. Os Grandes Desafios (Onde o "pé" dói)

Os pesquisadores descobriram que consertar a injustiça é muito mais difícil do que parece nos livros de teoria. Eles encontraram três grandes obstáculos:

A. O Que é "Justo"? (O Dilema do Sabor)

Em um restaurante, "justo" pode significar coisas diferentes.

• Para o comprador, justo é receber exatamente o que ele gosta.
• Para o vendedor (o criador de conteúdo), justo é ter a chance de ser visto, mesmo que ele seja novo.
• O Problema: O que é justo para um pode ser injusto para o outro. Se o sistema prioriza o vendedor novo, o comprador pode ficar chateado porque não viu o vídeo que ele queria. Os engenheiros têm que decidir quem ganha nessa briga, e não existe uma regra clara na lei para isso. É como tentar dividir um bolo onde metade das pessoas quer o bolo inteiro e a outra metade quer que o bolo seja dividido igualmente, mas o bolo é pequeno.

B. O Labirinto Dinâmico (O Espelho que Muda)

Diferente de um carro estático, o sistema de recomendação é como um espelho mágico que muda o reflexo.

• Se o sistema recomenda um vídeo, o usuário clica ou não. Isso muda o que o sistema vai recomendar na próxima vez.
• Isso cria um ciclo de feedback. Se o sistema erra e recomenda algo estranho, o usuário pode clicar por curiosidade, e o sistema pensa: "Ah, eles gostaram!", e recomenda mais coisas estranhas.
• O Desafio: É muito difícil prever como as pessoas vão reagir antes de lançar o sistema. Os engenheiros muitas vezes só descobrem o problema depois que o sistema já está no ar, e corrigir isso é como tentar trocar o motor de um carro enquanto ele está andando na estrada.

C. A Falta de Tempo e a "Língua Estranha" (O Problema da Comunicação)

• Tempo: Os engenheiros estão sobrecarregados. O foco principal é fazer o sistema funcionar rápido e sem cair (uptime). "Justiça" é visto como um problema chato que pode ser resolvido depois, como uma tarefa de casa que ninguém quer fazer porque está cansado. Eles dizem que gastam menos de 10% do tempo nisso.
• Comunicação: O time de Jurídico fala uma língua clara: "Isso é proibido, não faça". Já o time de Justiça/Ética fala uma língua complicada, cheia de termos de psicologia e sociologia que os engenheiros de computador não entendem. É como se um falasse "não use o pneu furado" e o outro dissesse "precisamos considerar a equidade social da tração dos pneus". Sem uma "língua comum", a mensagem se perde.

3. O Que Eles Sugerem? (As Soluções)

Os autores do artigo dão algumas dicas para melhorar essa situação:

1. Escrevam o Manual (Documentação): As empresas precisam parar de inventar a roda toda vez. Se um engenheiro criou uma fórmula para medir justiça em um projeto, ele deve escrever isso num manual para que o próximo engenheiro não precise começar do zero. É como ter uma receita de bolo anotada, em vez de tentar adivinhar os ingredientes.
2. Ouçam Todos os Lados (Múltiplos Interesses): Precisamos de ferramentas melhores para equilibrar os desejos dos criadores de conteúdo e dos usuários ao mesmo tempo, sem que um sacrifique o outro.
3. Conversem Mais Cedo: O time de Justiça não deve esperar o carro estar pronto para dar a opinião. Eles devem entrar na oficina na fase do projeto, junto com os engenheiros e o jurídico.
4. Crie um Dicionário Comum: Precisamos de uma "Língua Franca de Justiça". Termos que tanto o engenheiro quanto o especialista em ética entendam, para que a conversa flua e as soluções sejam implementadas.

Conclusão

No final, os engenheiros entrevistados disseram que, embora seja cansativo e difícil, eles querem fazer a coisa certa. Eles sabem que esses sistemas afetam a vida de milhões de pessoas. O problema não é que eles não se importam, mas sim que o sistema atual da empresa (falta de tempo, falta de ferramentas claras e comunicação confusa) torna muito difícil transformar essa boa intenção em prática real.

A mensagem final é: Para ter algoritmos justos, não basta ter a tecnologia certa; precisamos mudar a cultura de trabalho, a comunicação entre as equipes e dar tempo e ferramentas para quem constrói esses sistemas.

Resumo técnico

1. O Problema

Os sistemas de recomendação (RS) são entidades sociais e colaborativas amplamente implantadas em domínios de alto impacto (como e-commerce e redes sociais). Eles são suscetíveis a vieses que podem causar grandes impactos psicológicos, ideológicos e sociais em escala. Embora a academia tenha proposto diversas metodologias para medir e mitigar esses vieses, a tradução dessas teorias para a prática industrial é inerentemente desafiadora.

O problema central identificado no artigo é a lacuna entre a teoria acadêmica de justiça algorítmica e a implementação real dentro de grandes empresas de tecnologia. Especificamente, os praticantes de Machine Learning (ML) enfrentam dificuldades em:

• Definir o que é "justiça" em contextos de RS dinâmicos e multi-stakeholder (envolvendo provedores de conteúdo e usuários finais com interesses conflitantes).
• Integrar considerações de justiça nos fluxos de trabalho técnicos existentes sem comprometer a eficiência ou a estabilidade do sistema.
• Navegar por restrições regulatórias, éticas e organizacionais que muitas vezes entram em conflito.

2. Metodologia

Os autores conduziram um estudo qualitativo baseado em entrevistas semiestruturadas para mapear como os praticantes abordam a justiça na prática.

• Participantes: 11 praticantes de ML (engenheiros, pesquisadores e cientistas) de 7 grandes empresas de tecnologia ("Big Tech").
• Perfil: Todos os participantes trabalham ativamente na construção de sistemas de recomendação em escala massiva (servindo mais de 1 bilhão de clientes anualmente). A experiência média foi de 5,36 anos.
• Abordagem: As entrevistas duraram entre 45 minutos e 1 hora. Os pesquisadores mapearam os fluxos de trabalho dos praticantes, focando em duas perguntas de pesquisa (RQs):
  1. Como são os fluxos de trabalho técnicos e de justiça de um praticante de RS e como eles se intersectam?
  2. Quais são os desafios técnicos e organizacionais ao incorporar considerações de justiça nesses fluxos?
• Análise: Os dados foram analisados através de uma análise temática indutiva, mapeando os estágios do fluxo de trabalho e codificando os desafios enfrentados.

3. Principais Contribuições

O artigo oferece três contribuições fundamentais para a comunidade de RS e HCI:

1. Mapeamento do Fluxo de Trabalho de RS: Uma visualização detalhada de como as equipes técnicas abordam a justiça (a) internamente e (b) em colaboração com equipes jurídicas, de dados e de justiça (ou IA Responsável).
2. Visão Geral dos Desafios: Uma categorização clara dos desafios técnicos e organizacionais que impedem a integração eficaz da justiça nos fluxos de trabalho.
3. Recomendações Acionáveis: Um conjunto de diretrizes para praticantes, empresas e pesquisadores de HCI para melhorar a integração da justiça, destacando onde as empresas devem implementar mudanças baseadas em evidências e onde a pesquisa de HCI pode apoiar esses esforços.

4. Resultados e Descobertas Chave

A. O Fluxo de Trabalho do Praticante de RS

O estudo mapeou o fluxo de trabalho em duas fases principais:

• Fase Offline (Desenvolvimento): Envolve aquisição de dados (com aprovação jurídica), construção de modelos e validação. A justiça é abordada aqui através da hipótese de fontes de viés e desenvolvimento de métricas iniciais.
• Fase Online (Pós-implantação): Envolve testes com dados reais de usuários, monitoramento de desempenho e iteração. É nesta fase que a equipe de justiça fornece feedback baseado em diretrizes internas.

O processo de justiça ocorre em três sub-fases: Prototipagem (definição de hipóteses e métricas), Interna (validação manual e busca por vieses ocultos) e Colaborativa (feedback das equipes de justiça e iteração baseada em feedback do usuário).

B. Desafios Técnicos (Dentro das Equipes de RS)

1. Definir Justiça no Contexto de RS: Diferente de modelos de classificação, não há uma definição única. Os praticantes lutam para adaptar métricas acadêmicas a contextos específicos onde não há mandatos legais claros (ex: viés em plataformas de namoro vs. emprego).
2. Múltiplos Stakeholders e Tipos de Justiça: Os RS devem equilibrar interesses conflitantes (ex: criadores de conteúdo vs. usuários). Além disso, os praticantes precisam priorizar entre múltiplos tipos de justiça que não são necessariamente conflitantes, mas exigem escolhas de recursos (ex: paridade demográfica vs. equidade de exposição).
3. Ambientes Dinâmicos e Feedback Loops: A justiça em RS é difícil porque os sistemas são colaborativos e mudam com o comportamento do usuário. Métricas offline são insuficientes; é necessário criar métricas ad hoc e iterativas baseadas em dados de produção, o que é arriscado e trabalhoso.

C. Desafios Organizacionais (Entre Equipes)

1. Falta de Tempo: Os praticantes relatam dedicar menos de 10% do tempo a tarefas de justiça. A justiça raramente é tratada como uma "emergência disruptiva" que exige correção imediata, ao contrário de problemas de uptime do sistema.
2. Falta de uma "Língua Franca" de Justiça: Existe uma barreira de comunicação significativa entre equipes técnicas e equipes de justiça.
   • Contraste Jurídico: A comunicação com equipes jurídicas é clara e direta (baseada em regras de "sim/não").
   • Fricção com Justiça: A comunicação com equipes de justiça é frequentemente ambígua, usando terminologia não técnica (psicologia, comunicação) e feedbacks que são difíceis de operacionalizar em modelos complexos. As equipes de justiça muitas vezes entram no projeto tarde demais (após a implantação), perdendo o contexto de decisões técnicas anteriores.

5. Significância e Recomendações

O estudo conclui que, apesar dos desafios, os praticantes veem a justiça como uma parte importante e recompensadora do seu trabalho, motivados pelo impacto social dos sistemas.

Recomendações para o Futuro:

• Construção de Conhecimento Institucional: É necessário melhorar a documentação de métricas e processos de justiça para evitar a recriação constante de soluções (ad hoc) e permitir a reutilização de conhecimento.
• Investimento em Justiça Multi-Stakeholder: As empresas devem investir em otimização multi-objetivo e pesquisas sobre justiça intragrupo para lidar com a escala e a interseccionalidade dos usuários.
• Integração Precoce: As equipes de justiça devem ser envolvidas desde a fase de prototipagem (offline), não apenas na fase de testes online, para evitar retrabalho e garantir que as diretrizes sejam compreendidas tecnicamente.
• Desenvolvimento de uma "Língua Franca": É crucial criar pontes de comunicação, glossários compartilhados e ferramentas que traduzam princípios éticos em ações técnicas acionáveis, reduzindo a ambiguidade entre as equipes.

Em suma, o artigo destaca que a justiça em sistemas de recomendação não é apenas um problema técnico de métricas, mas um desafio sociotécnico complexo que exige mudanças estruturais nos fluxos de trabalho, na comunicação organizacional e na documentação de práticas industriais.