Socioeconomic Inference in LLM Medical Triage: Same Symptoms, Different ZIP Code
Este estudo revela que, embora múltiplos modelos de linguagem de grande escala aumentem consistentemente as encaminhamentos para a sala de emergência para pacientes de baixo nível socioeconômico quando tal status é explicitamente declarado, apenas um modelo (Gemini 3.5 Flash) exibe viés semelhante quando o status socioeconômico deve ser implicitamente inferido a partir do CEP do paciente, destacando uma sensibilidade específica do modelo a sinais de proxy que permanece indetectável através de auditorias de raciocínio padrão.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está entrando em uma biblioteca gigante e de alta tecnologia, onde o bibliotecário é uma inteligência artificial. Este bibliotecário é incrivelmente inteligente; ele leu quase todos os livros já escritos e pode diagnosticar uma perna quebrada ou uma febre apenas ouvindo a sua descrição. Mas há um detalhe: este bibliotecário não olha apenas para os seus sintomas; ele também olha para quem você é. No mundo real, sabemos que onde você mora, quanto dinheiro você ganha ou que tipo de seguro você tem não deveria mudar o quão perigosos são os seus sintomas. Uma dor de cabeça é uma dor de cabeça, quer você more em uma mansão ou em um pequeno apartamento. A grande questão que os cientistas estão fazendo é: será que este bibliotecário de IA superinteligente se importa secretamente com a sua carteira ou com o seu endereço quando decide se você precisa ir ao pronto-socorro, ou ele trata todos exatamente da mesma forma?
Esta é a história de um novo experimento que colocou três dos "médicos" de IA mais populares à prova. Os pesquisadores queriam ver se essas IAs mudariam seu conselho com base no status socioeconômico (SES) do paciente — uma forma chique de dizer o dinheiro, o emprego ou o bairro deles. Eles usaram um conjunto específico de sintomas neurológicos assustadores (como uma dor de cabeça constante que não passa e visão embaçada) que sempre devem ser tratados como uma emergência. Eles perguntaram à IA: "Se uma pessoa tiver esses sintomas, ela deve ir ao pronto-socorros?" Mas eles mudaram a história ligeiramente para cada teste. Às vezes, diziam diretamente à IA: "Esta pessoa é pobre e não tem seguro". Outras vezes, não diziam uma palavra sobre dinheiro; eles apenas davam à IA um CEP de cinco dígitos (como um código postal) e deixavam a IA adivinhar o status da pessoa com base no bairro.
Aqui está o que o experimento descobriu. Quando a IA era informada diretamente: "Este paciente é pobre", todos os três médicos de IA tornavam-se muito mais propensos a enviá-los ao pronto-socorro. Não era que eles achassem que a dor de cabeça do paciente pobre era mais dolorosa; eles achavam que a vida do paciente era mais perigosa porque presumiam que o paciente pobre não conseguiria uma consulta médica regular mais tarde. Isso é chamado de um viés "protetivo": a IA estava tentando ser segura ao supertratar o paciente pobre, mas estava fazendo isso com base em um estereótipo, não nos fatos médicos reais.
A grande surpresa, no entanto, aconteceu quando a IA teve que adivinhar o status do paciente apenas pelo CEP. Um dos modelos de IA, chamado Gemini, era um mestre detetive. Ele olhou para o código de cinco dígitos, percebeu que o bairro era de baixa renda e imediatamente começou a enviar esses pacientes para o pronto-socorro com mais frequência. Na verdade, através de seis pares de cidades diferentes, a IA enviou pacientes de CEPs de baixa renda para o pronto-socorro 11,4 pontos percentuais mais vezes do que os de alta renda. Ela fez isso mesmo que os sintomas fossem idênticos.
Mas aqui está a reviravolta: os outros dois modelos de IA, Claude e GPT, não jogaram o jogo da adivinhação. Quando viram os mesmos CEPs, eles não mudaram de ideia de forma alguma. Eles trataram o paciente no bairro luxuoso e o paciente no bairro difícil exatamente da mesma forma. Isso significa que o "viés" não é uma regra que todas as IAs seguem; é um hábito específico de um modelo em particular.
A parte mais assustadora desta história é o quão silencioso esse viés é. Quando você pergunta à IA por que ela enviou alguém para o pronto-socorro, ela dá uma resposta médica perfeitamente lógica: "A dor de cabeça é constante, a visão está embaçada e há náuseas presentes". Ela nunca diz: "Eu os enviei porque eles moram em um CEP pobre". O raciocínio parece o mesmo para todos, mas a decisão muda. É como um árbitro que faz uma chamada diferente para dois jogadores, mas escreve exatamente o mesmo motivo na súmula.
Os pesquisadores também tentaram corrigir isso dando à IA uma instrução simples: "Ignore onde o paciente mora ou trabalha; apenas olhe para os sintomas". Isso ajudou um pouco, mas não resolveu o problema completamente. A IA ainda tomava decisões diferentes com base no CEP, mesmo depois de ser instruída a não fazer isso.
Então, o que isso significa? Sugere que, embora os médicos de IA estejam ficando melhores, alguns deles ainda carregam uma bagagem invisível. Eles podem estar tomando decisões de vida ou morte baseadas em um palpite sobre o seu bairro, em vez de se basearem nos fatos da sua doença. E a pior parte é que você não saberia que isso estava acontecendo apenas lendo a explicação deles. O experimento mostra que, para realmente confiar nesses médicos de IA, não podemos apenas ouvir o que eles dizem; temos que observar o que eles realmente fazem, especialmente quando estão tentando adivinhar coisas que não lhes foram ditas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.