Demographic Injection in Medical Language Models under Diversity, Equity, and Inclusion Prompts

No campo da inteligência artificial, que evolui rapidamente, uma nova geração de programas de computador aprendeu a ler e escrever como os seres humanos, oferecendo conselhos sobre tudo, desde literatura até medicina. À medida que essas ferramentas avançam para a área da saúde, especialistas têm instado os desenvolvedores a programá-las com um tipo específico de sensibilidade: uma consciência de diversidade, equidade e inclusão. O objetivo é garantir que, quando um médico pedir ajuda a um computador para tratar um paciente, a máquina considere como fatores como raça, renda ou contexto cultural podem influenciar os resultados de saúde. Essa abordagem assume que, ao pedir explicitamente que o computador pense nessas realidades sociais, ele se tornará mais justo e preciso. No entanto, a relação entre as instruções de um computador e seu resultado é complexa, e comandos bem-intencionados podem, por vezes, desencadear comportamentos inesperados que distorcem justamente a informação que pretendiam esclarecer.

Pesquisadores da Universidade Estadual do Arizona investigaram o que acontece quando aplicam essas instruções focadas em equidade a questões médicas. Eles testaram quarenta e sete modelos diferentes de inteligência artificial, variando de sistemas comerciais amplamente utilizados a programas especializados de código aberto, utilizando uma vasta coleção de questões médicas de múltipla escolha. Em seu experimento, eles pegaram cenários médicos padrão — descrições de pacientes com sintomas específicos, mas sem menção ao seu histórico — e pediram aos modelos que os resolvessem. Eles compararam as respostas dos modelos sob quatro condições diferentes: sem instrução adicional, com uma instrução sem sentido, com uma instrução médica neutra e com uma única frase direcionando o modelo a considerar diversidade e equidade.

Os resultados revelaram um padrão surpreendente e consistente. Quando os modelos recebiam a instrução focada em equidade, frequentemente começavam a inventar detalhes sobre os pacientes que nunca estavam na descrição original. Os pesquisadores chamam esse fenômeno de "injeção demográfica". Nos grupos de controle, onde nenhuma instrução especial era dada, os modelos adicionavam detalhes demográficos não declarados, como a raça ou o status social de um paciente, em menos de um por cento dos casos. Mas quando o comando de equidade era adicionado, esse número saltava para trinta e três por cento em todos os modelos testados. Isso significa que, aproximadamente uma em cada três vezes que o computador era solicitado a considerar a equidade, ele decidia silenciosamente atribuir uma raça, idade ou situação econômica específica a um paciente que não possuía nenhuma.

Na maioria das vezes, essa invenção era inofensiva. Os modelos adicionavam uma declaração geral sobre como determinada doença afeta um grupo específico de pessoas no mundo real, sem alterar sua recomendação médica final. No entanto, uma parte menor, mas significativa, dessas respostas ia além. Em cerca de dois e meio por cento dos casos, o modelo anexava o detalhe demográfico inventado diretamente ao paciente específico da história. Essa mudança na identidade do paciente fazia com que o modelo alterasse seu conselho médico e, quase sempre, o novo conselho estava errado. Por exemplo, ao ser apresentado a um caso de uma mulher com um inchaço indolor no pescoço e marcadores sanguíneos normais, um modelo poderia identificar corretamente a condição como um tipo específico de inflamação da tireoide. Mas ao ser instruído a considerar a equidade, o mesmo modelo poderia subitamente decidir que a paciente era uma mulher negra ou hispânica e, com base nessa identidade inventada, mudar seu diagnóstico para uma doença diferente e incorreta.

O estudo descobriu que a forma como a instrução era redigida importava muito. Prompts mais detalhados que pediam ao modelo para considerar determinantes sociais de saúde ou grupos demográficos específicos faziam com que os modelos inventassem detalhes do paciente com ainda mais frequência, com a taxa de invenção subindo para até cinquenta e seis por cento. Os pesquisadores determinaram que esse comportamento era impulsionado pelo conteúdo da instrução de equidade em si, e não simplesmente pelo fato de o modelo estar lendo mais texto. Eles descartaram a ideia de que os modelos estivessem apenas distraídos por palavras extras, pois instruções tão longas quanto as originais, mas não relacionadas à equidade, não causavam o mesmo efeito. Em vez disso, os modelos pareciam ter aprendido uma associação forte durante seu treinamento: quando veem palavras relacionadas à equidade, esperam ver detalhes demográficos e sentem-se compelidos a fornecê-los, mesmo quando o usuário não os solicitou.

Esta descoberta destaca uma falha sutil, mas crítica, na forma como esses sistemas processam instruções. O computador não está agindo por malícia ou viés no sentido humano; em vez disso, está seguindo um padrão que aprendeu para ser útil. Ao ser instruído a considerar a equidade, ele interpreta isso como um comando para preencher informações ausentes, assumindo que um quadro médico completo requer um rótulo demográfico. Ao fazer isso, ele reescreve a identidade do paciente, transformando um caso genérico em um caso específico que nunca existiu. Os pesquisadores enfatizam que, embora a precisão geral dos modelos tenha caído apenas ligeiramente, os erros concentraram-se justamente nos casos em que os modelos tentavam ser mais úteis. O estudo conclui que qualquer instrução que direcione o raciocínio de um modelo pode fazer com que ele adicione detalhes não solicitados e, no mundo de alto risco da medicina, até mesmo uma pequena mudança na descrição de um paciente pode levar a um erro de diagnóstico perigoso.