Proxy reliance in large language model decisions is uncalibrated to predictive evidence

No mundo moderno, os algoritmos são cada vez mais solicitados a tomar decisões de alto risco sobre pessoas, desde determinar quem recebe um empréstimo até decidir qual paciente de um hospital precisa de atendimento prioritário. Quando esses sistemas são construídos usando modelos de linguagem de grande escala — programas de computador poderosos treinados em vastas quantidades de texto — a questão da equidade torna-se complicada. A lei geralmente aceita que um tomador de decisão pode usar informações se elas ajudarem a prever um bom resultado, como usar a pressão arterial de um paciente para prever seu risco de ataque cardíaco. No entanto, ela proíbe o uso de informações que servem apenas como substitutos para uma característica protegida, como raça ou gênero, mesmo que essa informação seja estatisticamente útil. Isso é conhecido como discriminação por procuração (proxy discrimination). A dificuldade reside no fato de que uma única peça de dado, como o bairro de uma pessoa, pode ser tanto um indicador médico legítimo quanto um sinal oculto de sua raça. Os métodos atuais para testar se um algoritmo é justo frequentemente dependem de uma verificação simples: se você alterar a raça de uma pessoa no comando (prompt) do computador e a decisão mudar, o sistema é tendencioso. Mas essa abordagem ignora a nuance da realidade. Um tomador de decisão racional deve mudar de ideia se a nova informação for genuinamente útil, e um sistema que nunca muda de ideia pode estar ignorando evidências importantes em vez de ser justo.

Pesquisadores da Universidade de Osaka propuseram-se a resolver este problema, indo além das verificações simples de sim ou não para uma medição mais precisa de quanto um algoritmo deve confiar em certos indícios. Eles criaram um mundo simulado onde sabiam a verdade exata sobre cada paciente e cada desfecho, permitindo-lhes calcular a quantidade perfeita de confiança em qualquer dado de informação. Neste ambiente controlado, eles pediram a quatro modelos de linguagem de grande escala diferentes para atuarem como especialistas de triagem, classificando pares de pacientes simulados para prioridade de tratamento. Os pacientes foram descritos por indicadores numéricos, alguns dos quais eram sinais médicos legítimos e outros eram "proxies" que correlacionavam com um atributo protegido oculto, mas que não possuíam valor médico real. Os pesquisadores puderam então comparar o comportamento dos modelos contra um padrão matemático do que um tomador de decisão perfeitamente racional faria com as mesmas informações.

O estudo revelou um descompasso alarmante entre as evidências disponíveis para os modelos e como eles realmente as utilizavam. Quando os pesquisadores forneceram pistas que não tinham absolutamente nenhum valor preditivo, os modelos ainda assim confiaram nelas, tratando informações inúteis como se fossem importantes. Isso ocorreu consistentemente em todos os quatro modelos testados, independentemente do provedor. Quando as pistas eram genuinamente úteis, os modelos não ajustavam sua confiança para corresponder à força da evidência. Em vez disso, operavam em um nível de confiança positivo elevado que subestimava severamente a evidência à medida que seu valor preditivo crescia. Em outras palavras, os modelos não estavam ouvindo os dados; eles estavam seguindo um roteiro interno rígido que ignorava a realidade mutável da situação. Isso significa que um sistema poderia parecer justo em um teste específico, mas ser profundamente falho em outro, simplesmente porque o teste não correspondia às condições do mundo real onde a evidência era mais forte ou mais fraca.

Os pesquisadores também investigaram se mudar os nomes dos campos de dados poderia interromper esse comportamento. Quando rotularam as pistas de proxy com termos socialmente carregados como "bairro" ou "ocupação" em vez de termos médicos neutros, os modelos reduziram sua confiança nelas. Isso pareceu uma funcionalidade de segurança à primeira vista. No entanto, o estudo descobriu que essa supressão era frágil e facilmente quebrada. Quando os pesquisadores adicionaram exemplos ao prompt para ajudar os modelos a compreender a tarefa — uma prática comum em aplicações do mundo real — os modelos imediatamente voltaram a confiar nos rótulos sociais, muitas vezes ignorando o efeito protetor dos nomes. Contudo, o estudo observou que o contraste entre rótulos sociais e neutros persistiu em três dos seis casos em que exemplos foram fornecidos, indicando que a supressão não foi completamente apagada, mas significativamente enfraquecida. Isso sugere que a aparência de segurança desses modelos é uma reação superficial a uma redação específica, em vez de uma compreensão profunda e confiável de equidade. Os modelos poderiam ser enganados para comportamentos injustos simplesmente mudando o contexto em que lhes é solicitado trabalhar.

Além disso, o estudo mostrou que a precisão da decisão de um modelo não é um indicador confiável de se ele está usando a informação de forma justa. Um modelo pode fazer a escolha correta pelos motivos certos, ou a escolha errada pelos motivos errados, e ainda assim chegar ao mesmo escore. Em alguns casos, tornar a tarefa mais difícil ao adicionar mais pontos de dados fez com que os modelos confiassem mais pesadamente nos proxies injustos, enquanto em outros casos, fez com que confiassem menos. Essa inconsistência significa que simplesmente verificar se um modelo é preciso não nos diz se ele está discriminando. Os pesquisadores descobriram que a relação entre quantos pontos de dados um modelo vê e como ele os utiliza depende inteamente de como esses pontos de dados estão conectados entre si, um fator que varia drasticamente nos dados médicos do mundo real.

Em última análise, o trabalho demonstra que os métodos atuais para auditar a inteligência artificial são insuficientes para a complexidade da implementação no mundo real. O estudo prova que, sem um padrão conhecido do que a evidência exige, é impossível dizer se um modelo está sendo justo ou simplesmente ignorando dados úteis. As descobertas sugerem que as configurações que parecem mais seguras para esses modelos — aquelas que parecem mais resistentes ao viés em testes simples — são frequentemente as menos representativas de como elas realmente se comportarão em um hospital ou em um banco. A pesquisa conclui que, para verdadeiramente compreender e regular esses sistemas, devemos ir além de simples verificações de viés e desenvolver formas de medir se a confiança de um algoritmo em uma informação específica corresponde ao valor real dessa informação. Até que possamos fazer isso, corremos o risco de ou punir sistemas por serem racionais ou, mais perigosamente, de confiar em sistemas que estão silenciosamente tomando decisões injustas baseadas em uma compreensão frágil do mundo.