Mitigating Bias in Large Vision-Language Models via Counterfactual Ensemble Decoding

No mundo em rápida evolução da inteligência artificial, surgiu uma nova geração de sistemas que podem ver e falar com uma fluência notável. Esses grandes modelos de visão-linguagem atuam como pontes entre o mundo visual e a linguagem humana, sendo capazes de responder perguntas sobre imagens ou descrever cenas em detalhes. Eles são treinados em vastas coleções de fotografias e textos da internet, aprendendo a prever quais palavras devem seguir uma imagem. No entanto, como aprendem com dados humanos, eles também herdam falhas humanas. Assim como as pessoas podem nutrir preconceitos inconscientes, essas máquinas frequentemente absorvem estereótipos sociais, aprendendo a associar certos empregos, traços ou emoções a gêneros ou raças específicas. Quando um modelo vê a foto de uma mulher, pode automaticamente supor que ela é uma enfermeira em vez de uma médica, ou quando vê um homem, pode assumir que ele é um CEO. Isso não é apenas uma falha técnica; é um reflexo das desigualdades do mundo real que podem reforçar preconceitos prejudiciais e erodir a confiança na tecnologia.

Pesquisadores há muito tentam corrigir isso treinando os modelos em dados mais limpos ou adicionando instruções especiais para dizer à máquina para ser justa. No entanto, esses métodos são frequentemente caros, difíceis de escalar ou dependem de uma definição única e rígida do que é "justo". Um novo estudo propõe uma abordagem diferente, uma que não tenta limpar o conhecimento do modelo, mas em vez disso o convida a considerar múltiplos pontos de vista simultaneamente. Os pesquisadores, liderados por Yisong Xiao e colegas da Universidade de Beihang, desenvolveram uma técnica chamada Decodificação de Ensemble Contrafactual (Counterfactual Ensemble Decoding). Em vez de pedir ao modelo para simplesmente deixar de ser tendencioso, eles pedem que ele imagine a mesma cena sob a perspectiva de diferentes grupos sociais simultaneamente. Ao misturar essas diversas perspectivas durante o momento em que a máquina escolhe sua próxima palavra, o sistema pode se libertar do domínio de uma narrativa estereotipada única.

O cerne deste método reside em uma ideia simples, mas poderosa: a diversidade promove a justiça. No mundo real, se uma sala estiver cheia de pessoas de diversas origens, é menos provável que a conversa seja dominada por um ponto de vista estreito. Os pesquisadores aplicaram esse princípio à mente digital da inteligência artificial. Quando o modelo olha para uma imagem, como uma foto de uma pessoa em um terno de negócios, ele geralmente gera um único fluxo de pensamentos baseado em seu treinamento. O novo sistema intervém neste momento crítico criando versões "contrafatuais" da representação interna da imagem. Estas não são novas fotografias; em vez disso, são ajustes matemáticos na forma como o computador vê a imagem, deslocando o foco para imaginar a pessoa pertencendo a um gênero ou raça diferente, mantendo o restante da cena exatamente o mesmo. Isso permite que o modelo gere um conjunto paralelo de previsões: uma para a imagem original, e outras para o que a imagem poderia implicar se a pessoa fosse de um grupo social diferente.

Uma vez que esses múltiplos pontos de vista são gerados, o sistema enfrenta um desafio: como combiná-los sem diluir a capacidade do modelo de ser preciso. Os pesquisadores descobriram que o conflito entre esses diferentes pontos de vista não é uniforme em todo o processamento do modelo. Algumas camadas da rede neural, que atuam como níveis profundos de pensamento, mostram o maior desacordo entre a visão original e as visões contrafatuais. O sistema identifica essas camadas específicas onde a tensão é mais alta. Neste ponto de divergência máxima, o método combina cuidadosamente as previsões. Ele não simplesmente faz uma média delas; em vez disso, pesa as opções com base na confiança. Se o modelo estiver muito seguro de uma palavra em uma perspectiva, mas incerto em outra, o sistema prioriza a escolha confiante. Isso garante que o resultado final não seja um compromio nebuloso, mas uma decisão equilibrada que respeita os insights de todos os diferentes pontos de vista considerados.

Os resultados desta abordagem foram testados em vários benchmarks rigorosos projetados para medir o viés em ocupações, descrições e traços pessoais. Em um teste envolvendo viés de gênero em cargos, o novo método reduziu o viés em uma média de 61,21 por cento, uma melhoria significativa em relação às técnicas anteriores. Em testes que mediam estereótipos raciais, o viés foi reduzido em quase 48 por cento. Por exemplo, ao descrever uma CEO feminina, métodos mais antigos poderiam ainda tender a adjetivos estereotipados como "atraente", enquanto este novo sistema conseguiu direcionar a descrição para termos profissionais e neutros como "competente". Crucialmente, os pesquisadores descobriram que essa justiça não veio à custa da inteligência. O modelo manteve sua capacidade de responder perguntas gerais e resolver problemas complexos, com uma queda mínima, muitas vezes insignificante, no desempenho geral. Na verdade, em alguns testes de raciocínio, o modelo desenviesado apresentou um desempenho ligeiramente superior ao anterior, sugerindo que remover o ruído dos estereótipos pode, de fato, ajudar o modelo a focar mais claramente nos fatos.

Este trabalho demonstra que a justiça na inteligência artificial não requer o descarte do conhecimento do modelo ou começar do zero. Ao introduzir um mecanismo que força o sistema a manter múltiplos pontos de vista em sua mente ao mesmo tempo, os pesquisadores mostraram que a máquina pode aprender a navegar pela complexidade da sociedade humana sem recorrer aos seus hábitos mais enraizados. O método funciona ao encontrar o momento exato onde a lógica interna do modelo está mais em conflito e resolvendo esse conflito com uma mistura ponderada de visões diversas. Embora a técnica exija atualmente o acesso ao funcionamento interno do modelo, o que limita seu uso a pesquisadores e desenvolvedores em vez de usuários finais, ela oferece um caminho promissor a seguir. Ela sugere que o futuro da IA ética pode não residir apenas em regras mais rígidas ou dados mais limpos, mas em ensinar esses sistemas a pensar com uma lente mais ampla e inclusiva.