The role of team diversity in AI systems development

Este estudo, baseado em entrevistas com profissionais de quatro equipes de IA em uma grande empresa de software no Brasil e em Portugal, revela que a diversidade de equipes desempenha um papel fundamental no desenvolvimento de sistemas de IA ao identificar vieses, promover empatia, combater discriminação sistêmica e fomentar decisões mais inclusivas e criativas.

O essencial

Imagine que você está construindo uma casa. Se você contratar apenas um único tipo de pedreiro, que cresceu em um bairro muito específico e nunca viu o mundo além da sua rua, a casa que ele construirá provavelmente atenderá perfeitamente às necessidades dele, mas pode falhar miseravelmente para outras pessoas. Talvez a porta seja muito baixa para quem usa cadeira de rodas, ou a cozinha não tenha espaço para uma família grande, ou o sistema de segurança não funcione para quem tem uma pele mais escura.

Este artigo de pesquisa é como um manual que explica por que é crucial ter uma equipe de construção diversa quando estamos criando Inteligência Artificial (IA).

Aqui está a explicação simples do que os pesquisadores descobriram:

O Problema: A IA que "Aprende" o Preconceito

As IAs são como alunos muito rápidos, mas que só aprendem com o que lhes ensinamos. Se os dados que usamos para "ensinar" a IA vierem de um mundo cheio de preconceitos (como racismo, sexismo ou exclusão), a IA vai copiar esses erros. Ela pode, por exemplo, recusar um empréstimo para uma mulher ou não reconhecer o rosto de uma pessoa negra.

O artigo diz que, até agora, os engenheiros de software tentaram consertar isso apenas com "remendos técnicos" (mudando códigos ou dados). Mas eles esqueceram de olhar para quem está escrevendo o código.

A Solução: A Equipe Diversa como um "Raio-X" Social

Os pesquisadores entrevistaram 25 profissionais que trabalham em grandes empresas de tecnologia no Brasil e em Portugal. Eles descobriram que ter uma equipe com pessoas diferentes (de gêneros, raças, idades, culturas e experiências de vida variados) funciona como um sistema de segurança natural contra esses erros.

Eles identificaram 6 papéis que a diversidade desempenha, que podemos comparar a ferramentas de uma caixa de ferramentas:

1. O "Detetive de Vícios" (Diversificar Perspectivas):
   Imagine que você está procurando um erro em um mapa. Se todos no mapa são iguais, você só vê o que já conhece. Se você tem alguém que viveu em lugares diferentes, ele aponta: "Ei, essa estrada não existe para quem mora na montanha!". A diversidade ajuda a equipe a ver os "pontos cegos" e os preconceitos antes que o produto seja lançado.

2. O "Coração" da Tecnologia (Trazer Empatia):
   Às vezes, os desenvolvedores são tão focados em fazer o sistema funcionar rápido que esquecem de perguntar: "Como isso vai fazer a pessoa se sentir?". Uma equipe diversa traz experiências de vida reais. Um membro da equipe que já foi discriminado pode dizer: "Isso aqui vai machucar o grupo X". Isso transforma a empatia de um conceito abstrato em uma ferramenta prática de design.

3. O "Desmanche de Injustiças" (Combater Discriminação Sistêmica):
   A IA muitas vezes repete erros antigos da sociedade (como racismo histórico). Uma equipe homogênea pode achar que um erro é apenas um "caso raro". Uma equipe diversa percebe que aquele "caso raro" na verdade afeta milhares de pessoas e que o sistema está falhando com elas. Eles impedem que a injustiça se torne padrão.

4. O "Júri Popular" (Tomada de Decisão Inclusiva):
   Em vez de uma única pessoa decidir como o sistema deve funcionar, a diversidade garante que várias vozes participem das decisões. É como ter um júri com pessoas de diferentes origens: a decisão final será mais justa porque considerou mais ângulos e necessidades diferentes.

5. O "Equipe Multidisciplinar" (Resolver Problemas Complexos):
   Os problemas de preconceito na IA são complicados e misturam tecnologia com sociedade. Uma equipe com especialistas de áreas diferentes (evidências de vida, cultura, técnica) consegue resolver esses quebra-cabeças complexos melhor do que um grupo de pessoas que pensam todas da mesma forma.

6. O "Escudo Protetor" (Segurança contra Vieses):
   A diversidade age como um escudo. Em vez de depender de uma única pessoa para checar se há preconceito, a própria estrutura da equipe faz com que os preconceitos sejam questionados o tempo todo. É como ter várias camadas de segurança onde, se um erro passar por um, ele será pego pelo próximo.

A Conclusão Simples

O estudo conclui que a diversidade não é apenas uma "coisa boa para fazer" por questões éticas ou de marketing. Ela é uma ferramenta técnica essencial.

Se você quer criar uma Inteligência Artificial que funcione bem para todos (e não apenas para um grupo específico), você precisa de uma equipe que represente todos. A diversidade é o "anti-vírus" que impede que a IA aprenda e espalhe os preconceitos do mundo real.

Em resumo: Para construir um futuro digital justo, não basta ter os melhores computadores; precisamos ter as melhores e mais variadas mentes trabalhando neles.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "The Role of Team Diversity in AI Systems Development", apresentado em português:

Título: O Papel da Diversidade de Equipes no Desenvolvimento de Sistemas de IA

1. Problema e Contexto

A integração generalizada de tecnologias de Inteligência Artificial (IA) intensificou preocupações sobre justiça e viés. Sistemas de IA frequentemente perpetuam desigualdades sociais devido a dados defeituosos e escolhas de design inadequadas, resultando em discriminação algorítmica contra grupos marginalizados (baseado em raça, gênero, orientação sexual, etc.).

Embora a pesquisa em Engenharia de Software tenha focado predominantemente em soluções técnicas (melhoria de conjuntos de dados, modelos e algoritmos), os fatores sociais e dinâmicas de equipe que moldam os resultados da IA permanecem subexplorados. O conceito de "dívida de justiça de software" (software fairness debt) destaca que vieses podem surgir de múltiplas fontes (cognitivas, de design, históricas, societais), e abordá-los apenas tecnicamente é insuficiente. A questão central de pesquisa é: Qual é o papel da diversidade de equipes na identificação e mitigação de vieses no desenvolvimento de sistemas de IA?

2. Metodologia

O estudo utilizou a Teoria Fundamentada (Grounded Theory - GT), uma metodologia indutiva, para explorar fenômenos sociais e técnicos complexos.

• Contexto: A pesquisa foi conduzida em uma grande empresa de software com operações no Brasil e Portugal, colaborando com clientes globais.
• Amostra: Foram selecionados 4 projetos de IA focados em domínios variados:
  1. Tradução de língua de sinais em tempo real (Deep Learning).
  2. Gêmeos digitais e modelos preditivos (Setor de Energia).
  3. Aplicação de Grandes Modelos de Linguagem (LLMs) na educação.
  4. Sistemas de reconhecimento facial (Setor de Beleza/Cosméticos).
• Coleta de Dados: Realizaram-se 25 entrevistas semiestruturadas com profissionais de software (cientistas de dados, designers, testadores, gerentes, etc.) distribuídas em três rodadas iterativas entre junho e julho de 2024. O recrutamento seguiu amostragem por conveniência, bola de neve e amostragem teórica.
• Análise: Os dados foram analisados através de codificação linha a linha, codificação focada e codificação teórica. O processo de saturação foi atingido na terceira rodada, quando novas entrevistas não geraram novos conceitos.
• Validação: O estudo empregou member checking (validação com participantes) e peer debriefing para garantir a credibilidade e a precisão das interpretações.

3. Contribuições Principais

O artigo oferece quatro contribuições-chave para preencher lacunas no conhecimento sobre a interseção entre diversidade e IA:

1. Exploração da Influência da Diversidade: Identificação de seis papéis específicos que a diversidade desempenha no desenvolvimento de IA.
2. Compreensão das Implicações Sociais: Evidência de que equipes diversas estão melhor posicionadas para considerar os efeitos amplos dos sistemas de IA, reduzindo riscos de práticas injustas.
3. Proteção contra Vieses Algorítmicos: Evidência de que a diversidade ajuda a reduzir vieses ao introduzir perspectivas que questionam suposições e revelam problemas ocultos em dados e modelos.
4. Ponte entre Objetivos Técnicos e Sociais: Ilustração de como equipes diversas alinham o desenvolvimento de IA com objetivos societais como equidade e inclusão.

4. Resultados (Os 6 Papéis da Diversidade)

A análise revelou seis categorias principais que explicam como a diversidade de equipes contribui para a identificação e mitigação de vieses:

1. Diversificação de Perspectivas para Identificação de Viés:

   • Equipes diversas identificam vieses raciais, de gênero e sociais mais cedo.
   • Permitem questionar suposições simplistas e "padrões" (defaults) que podem excluir certos grupos, identificando casos de borda e incompatibilidades contextuais que equipes homogêneas ignorariam.

2. Trazer Empatia para o Desenvolvimento de IA:

   • A diversidade fomenta a empatia, permitindo que a equipe compreenda os desafios e experiências de grupos sub-representados.
   • Ajuda a antecipar como o sistema será recebido e usado, movendo o foco de apenas eficiência técnica para as consequências sociais e emocionais do design.

3. Abordagem à Discriminação Sistêmica:

   • A presença de membros de diferentes origens raciais, étnicas e socioeconômicas aumenta a probabilidade de reconhecer desigualdades explícitas e sutis embutidas no treinamento e avaliação de modelos.
   • Evita que comportamentos discriminatórios sejam tratados apenas como anomalias estatísticas, abordando a raiz do problema antes da implantação.

4. Promoção de Tomada de Decisão Inclusiva e Justa:

   • A diversidade transforma a justiça em uma discussão contínua sobre prioridades e valores, em vez de um ponto de verificação único.
   • Facilita ajustes colaborativos em metas de design, estratégias de dados e critérios de avaliação para refletir melhor a diversidade dos usuários.

5. Aproveitamento de Expertise Diversa para Enfrentar Vieses Complexos:

   • Vieses muitas vezes surgem de fatores sobrepostos (técnicos e sociais). Equipes diversas combinam conhecimento experiencial e técnico para criar soluções mais robustas e contextualizadas.
   • Permite ir além de categorias demográficas padrão e questionar normas sociais prevalentes incorporadas nos dados.

6. Uso da Diversidade como Salvaguarda contra Viés:

   • A diversidade atua como uma "camada de proteção" estrutural, distribuindo a responsabilidade pela identificação de vieses por toda a equipe, em vez de depender de verificações isoladas ou de um único papel.
   • Cria um ambiente onde suposições e dados tendenciosos são questionados continuamente antes de se tornarem parte da lógica do sistema.

5. Significado e Implicações

• Para a Pesquisa: O estudo desloca o foco de soluções puramente técnicas para a dimensão socio-técnica, sugerindo que a justiça na IA deve ser abordada através das dinâmicas humanas e organizacionais.
• Para a Prática (Indústria): Recomenda-se que as organizações:
  • Formem equipes com composição diversificada em todos os papéis técnicos.
  • Criem espaços estruturados para compartilhamento de experiências e empatia.
  • Implementem processos de decisão participativa e testes de justiça multi-perspectiva.
  • Garantam a continuidade das equipes e o apoio da liderança para manter culturas inclusivas.
• Para a Sociedade: A diversidade nas equipes de desenvolvimento é crucial para criar tecnologias que reflitam as necessidades variadas da sociedade, reduzindo o risco de reforçar discriminações sistêmicas e aumentando a confiança pública na IA.

Conclusão: O estudo demonstra que a diversidade de equipes não é apenas uma característica demográfica, mas um fator ativo e formador que molda como os problemas são definidos, como as soluções são projetadas e como as consequências do mundo real são consideradas no ciclo de vida do desenvolvimento de IA.