Investigating Gender Stereotypes in Large Language Models via Social Determinants of Health

Este estudo investiga como os Modelos de Linguagem de Grande Escala (LLMs) perpetuam estereótipos de gênero em registros de pacientes franceses ao analisar as interações entre o gênero e outros determinantes sociais da saúde, demonstrando que a avaliação dessas interações é essencial para complementar as abordagens existentes de detecção de viés.

O essencial

Imagine que você tem um médico robô muito inteligente, capaz de ler milhares de prontuários médicos e ajudar a diagnosticar doenças. Esse robô é um "Modelo de Linguagem" (como o ChatGPT, mas focado em saúde). A ideia é que ele seja tão bom quanto um médico humano.

Mas, e se esse robô tiver preconceitos escondidos na sua "mente"?

Este estudo é como uma investigação de detetive para descobrir se esse médico robô está fazendo diagnósticos baseados em estereótipos de gênero (ideias pré-concebidas sobre homens e mulheres) em vez de apenas nos fatos médicos.

Aqui está a explicação passo a passo, usando analogias simples:

1. O Problema: O "Espelho" Imperfeito

Os robôs aprendem lendo tudo o que existe na internet e em livros. O problema é que a sociedade, infelizmente, tem muitos preconceitos. Se a internet diz que "enfermeiras são mulheres" e "engenheiros são homens", o robô aprende isso como se fosse uma verdade absoluta.

No mundo da saúde, isso é perigoso. Se o robô acha que uma mulher que trabalha em uma fábrica deve ter um problema de saúde diferente de um homem na mesma situação, ele pode errar o diagnóstico. O estudo mostra um exemplo: mesmo quando o prontuário diz claramente que o paciente é homem, o robô insiste em sugerir problemas relacionados à menstruação, porque o seu "cérebro" está viciado em estereótipos.

2. A Investigação: O "Jogo das Pistas"

Os pesquisadores criaram um experimento inteligente. Eles pegaram dados reais de pacientes franceses, mas fizeram algo mágico: apagaram todas as pistas de gênero.

• A Analogia: Imagine que você tem que adivinhar se uma pessoa é homem ou mulher apenas olhando para o que ela come, onde mora, quanto ganha e qual o trabalho dela, mas sem ver o nome, o pronome ou a aparência.
• Eles transformaram os textos em listas de dados neutros (ex: "Trabalha: Sim", "Fuma: Sim", "Casado: Sim").
• Depois, eles pediram para vários modelos de IA (robôs de tamanhos diferentes) adivinharem o gênero do paciente apenas com base nessas pistas.

3. O Que Eles Descobriram?

Os robôs não foram neutros. Eles "adivinharam" o gênero baseando-se em estereótipos sociais, exatamente como alguns humanos fariam.

• O Trabalho é a Chave: Se o robô via que a pessoa era "trabalhadora manual" ou "agricultor", ele tendia a dizer que era homem. Se via "empregada doméstica" ou "vendedora", tendia a dizer que era mulher.
• Hábitos: Fumar ou beber álcool fez os robôs pensarem em "homens".
• Tamanho Importa (mas não tanto quanto se pensa): Eles testaram robôs pequenos e gigantes. Surpreendentemente, os robôs gigantes (que são mais inteligentes em geral) ainda mantinham esses preconceitos, embora às vezes de forma um pouco mais sutil. E, pior: os robôs treinados especificamente para medicina (os "médicos robôs") às vezes tinham mais preconceitos do que os robôs comuns, porque aprenderam com dados médicos que também continham esses vieses.

4. Humanos vs. Robôs: O Espelho da Sociedade

Os pesquisadores também pediram para pessoas reais (estudantes universitários) fazerem o mesmo jogo de adivinhar o gênero apenas pelas pistas de trabalho e hábitos.

O resultado foi assustadoramente parecido:
As pessoas e os robôs usaram as mesmas pistas estereotipadas. Se os humanos acham que "trabalhador braçal = homem", o robô também acha. Isso mostra que o robô não está inventando nada novo; ele apenas está espelhando os preconceitos que já existem na nossa sociedade.

5. A Conclusão: O Que Fazer?

O estudo não diz que devemos abandonar os robôs na medicina. Pelo contrário, eles são ferramentas poderosas. Mas nos alerta para duas coisas importantes:

1. Não confie cegamente: Mesmo robôs muito avançados podem errar diagnósticos por causa de preconceitos de gênero escondidos nos dados.
2. Precisamos de "Filtros": Assim como limpamos a água para beber, precisamos "limpar" os dados e os robôs para remover esses preconceitos. Os pesquisadores sugerem que, ao usar esses robôs, devemos dar instruções claras para ignorar estereótipos, ou escolher modelos que tenham sido treinados para serem mais neutros.

Em resumo:
Este estudo é um aviso de que, se não cuidarmos dos "vícios" dos nossos robôs médicos, eles podem acabar tratando pacientes de forma injusta, baseando-se em ideias antigas sobre o que é "ser homem" ou "ser mulher", em vez de olhar para a realidade médica de cada pessoa. É preciso garantir que a tecnologia ajude a curar, e não a reforçar desigualdades.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Investigating Gender Stereotypes in Large Language Models via Social Determinants of Health", apresentado em português:

1. Problema Investigado

O artigo aborda o risco de viés e estereótipos de gênero em Modelos de Linguagem de Grande Escala (LLMs) quando aplicados a contextos de saúde. Embora os LLMs sejam promissores para auxiliar no diagnóstico médico, eles tendem a replicar e amplificar os preconceitos presentes em seus dados de treinamento.

O problema central identificado é que as avaliações de viés existentes frequentemente analisam determinantes sociais da saúde (SDoH) de forma isolada e descontextualizada, ignorando as interações complexas entre fatores como gênero, ocupação, estado civil e outros determinantes sociais. No contexto médico, esses estereótipos podem levar a consequências prejudiciais, como erros de diagnóstico, tratamentos inadequados e reforço de disparidades de saúde (ex.: um modelo sugerir problemas menstruais para um paciente masculino devido a estereótipos de ocupação).

2. Metodologia

Os autores propuseram um framework de investigação de estereótipos de gênero utilizando dados de prontuários clínicos anonimizados de pacientes franceses.

• Dados: Foi utilizado um conjunto de dados de 1.700 seções de história social de prontuários clínicos de um hospital universitário francês, anotadas com 14 SDoH (gênero, estado civil, ocupação, uso de substâncias, etc.). O conjunto foi filtrado para 958 notas contendo pelo menos três SDoH e dados de ocupação.
• Neutralização de Gênero: Para evitar que marcadores linguísticos diretos (comuns no francês) influenciassem o modelo, os dados foram pré-processados. As anotações de SDoH foram transformadas em pares chave-valor e os valores foram convertidos para opções binárias (Sim/Não) ou neutralizados (ex.: "enfermeiro/enfermeira" em vez de apenas "enfermeira"), eliminando pistas explícitas de gênero.
• Tarefa de Probing: O modelo recebeu as informações de SDoH neutralizadas e foi solicitado a prever o gênero do paciente em uma escala Likert de 7 pontos (1 = Feminino, 4 = Incerto, 7 = Masculino). A tarefa foi projetada como um problema de regressão para medir o desvio em relação à neutralidade (valor 4).
• Modelos Avaliados: Foram testados 9 LLMs, incluindo modelos de propósito geral (Llama 3.1/3.3, Qwen 2.5, Mistral) e modelos adaptados para o domínio médico (OpenBioLLM, Med42, HuatuoGPT).
• Métricas de Avaliação:
  • RMSE Modificado: Uma métrica que mede a magnitude e a direção do desvio em relação ao valor neutro (4), ponderando previsões mais confiantes.
  • Análise de Associação: Testes exatos de Fisher foram utilizados para calcular odds ratios entre a presença de um SDoH específico e a previsão de gênero, identificando quais fatores sociais ativam estereótipos de gênero no modelo.
  • Comparação Humana: Um estudo piloto com 9 anotadores humanos foi realizado para comparar os padrões de estereótipos entre humanos e máquinas.

3. Principais Contribuições

1. Framework de Probing de Estereótipos: Desenvolvimento de uma metodologia adaptável para diferentes idiomas e populações de pacientes, utilizando SDoH para investigar interações entre gênero e outros determinantes sociais.
2. Análise de Interações SDoH: Demonstração de que os LLMs não apenas possuem viés de gênero, mas que esse viés é ativado e amplificado por fatores específicos como Ocupação, estado civil e uso de substâncias.
3. Validação com Anotadores Humanos: Prova de conceito de que o framework pode ser aplicado tanto a LLMs quanto a humanos, revelando que ambos compartilham padrões de estereótipos sociais semelhantes (especialmente na associação entre ocupação e gênero).
4. Avaliação de Modelos Adaptados: Evidência de que a adaptação de modelos de grande porte para o domínio médico pode, paradoxalmente, aumentar o viés em comparação às versões base.

4. Resultados Chave

• Presença de Viés: Todos os modelos testados exibiram viés de gênero, desviando-se do valor neutro (4). Modelos menores (ex.: 8B) tendem a ter maior confiança e viés mais acentuado do que modelos maiores (70B), possivelmente devido à capacidade limitada de processamento de dados complexos.
• Ocupação como Fator Crítico: A análise de associação revelou correlações estatisticamente significativas entre ocupações e gênero. Por exemplo, "Trabalhadores" e "Agricultores" foram fortemente associados a previsões masculinas, enquanto "Empregados" e "Donas de Casa" foram associados a previsões femininas.
• Impacto da Adaptação Médica: Modelos adaptados para medicina (como Med42) mostraram níveis de viés ligeiramente superiores às suas versões base, sugerindo que os dados de treinamento médicos podem conter ou reforçar estereótipos.
• Neutralização Efetiva: Experimentos comparando texto completo, texto filtrado e dados SDoH neutralizados mostraram que a remoção de marcadores linguísticos de gênero reduziu significativamente a capacidade do modelo de prever o gênero, confirmando que os modelos dependem fortemente desses marcadores e dos estereótipos associados aos SDoH.
• Paralelos Humanos-Máquina: Os padrões de associação entre ocupação e gênero nos modelos espelharam os encontrados nos anotadores humanos, indicando que os LLMs aprendem e replicam os estereótipos sociais existentes na sociedade.

5. Significado e Conclusão

O estudo conclui que a avaliação de LLMs em saúde não pode se limitar a métricas de desempenho clínico tradicionais; é crucial investigar como os modelos interpretam e interagem com os Determinantes Sociais da Saúde.

• Risco de Sobrescrita (Override): O viés embutido pode levar o modelo a "sobrescrever" informações explícitas no prontuário, sugerindo diagnósticos incorretos baseados em estereótipos (ex.: diagnosticar problemas menstruais em homens).
• Mitigação: Embora seja impossível eliminar completamente o viés (devido à natureza probabilística e aos dados de treinamento desbalanceados), estratégias de prompting (instruções explícitas para ignorar marcadores de gênero) e a seleção cuidadosa de modelos podem mitigar riscos.
• Recomendação: Os desenvolvedores e pesquisadores devem priorizar a avaliação de interações entre SDoH e gênero como um complemento essencial para garantir a segurança e a equidade na integração de LLMs na prática médica. O trabalho sugere que modelos adaptados para tarefas específicas, mesmo que com capacidade reduzida, podem ser preferíveis se exibirem neutralidade comparável à humana.