Language Models Reproduce Human Reductionist Bias and Decision Inconsistency in Neurodevelopmental Disorders Assessment

No complex mundo dos cuidados de saúde mental, médicos e psicólogos enfrentam frequentemente uma tarefa difícil: decidir se a condição de uma pessoa é grave o suficiente para qualificar-se para apoio governamental. Isto não se trata apenas de diagnosticar uma doença; trata-se de julgar o quanto uma pessoa consegue gerir a sua própria vida. Em muitos lugares, este julgamento determina se uma família recebe dinheiro para cuidados, habitação especializada ou o direito de ter um progenitor em casa para ajudar. A decisão depende de uma questão específica: pode esta pessoa viver de forma independente ou precisa de ajuda constante com as suas necessidades básicas? Para pessoas com condições neuroevolutivas como o autismo ou o transtorno de déficit de atenção com hiperatividade, a resposta raramente é simples. As suas dificuldades podem ser invisíveis num consultório médico, mas esmagadoras no mundo real. Porque estas decisões carregam tanto peso, existe uma esperança crescente de que a inteligência artificial possa ajudar a torná-las mais justas e consistentes. Os modelos de linguagem de grande escala, os poderosos programas de computador que conseguem escrever e raciocinar, estão a ser testados para ver se podem atuar como juízes imparciais. Mas antes de confiarmos neles para escolhas de alto risco, devemos compreender como eles veem o mundo. Interpretam as necessidades humanas da mesma forma que os humanos o fazem, ou perdem as partes sociais subtis de uma vida que tornam a independência possível?

Uma equipa de investigadores na Polónia decidiu testar isto, submetendo tanto especialistas humanos como inteligência artificial a uma série rigorosa de ensaios. Eles reuniram trinta e cinco profissionais humanos, uma mistura de dezoito médicos e dezassete psicólogos, que trabalham regularmente em conselhos de avaliação de deficiência. Estas são as comissões que decidem quem recebe apoio. Para os comparar de forma justa, os investigadores selecionaram também sete diferentes modelos de linguagem de grande escala de empresas líderes de tecnologia. O objetivo era ver se as máquinas cometeriam os mesmos erros que os humanos, ou se trariam um novo tipo de viés para a mesa. Os investigadores desenharam um estudo que analisou três coisas específicas: se os decisores podiam ser enganados pela ordem da informação ou por uma foto enganosa, quão humildes eram sobre o seu próprio conhecimento e, mais importante, como definiam a frase "necessidades básicas de vida".

O experimento começou com uma série de estudos de caso fictícios. Os especialistas humanos e os modelos de computador foram solicitados a ler descrições de pessoas com várias condições e, em seguida, responder a duas perguntas. Primeiro, tinham de avaliar o nível de funcionamento da pessoa. Segundo, tinham de decidir se essa pessoa precisava de cuidados constantes ou assistência para viver de forma independente. Para testar se os decisores seriam facilmente influenciados por detalhes irrelevantes, os investigadores utilizaram alguns truques. Em alguns casos, colocaram todas as informações negativas sobre as dificuldades de uma pessoa logo no início da história, esperando que o leitor ficasse preso nessas primeiras impressões negativas. Em outros casos, anexaram uma foto de uma pessoa com aparência triste ou angustiada a uma história que era, de outra forma, idêntica a uma com uma foto neutra. Queriam ver se ver um rosto triste faria os especialistas concederem mais apoio, mesmo que o texto dissesse que a pessoa estava bem.

Os resultados destes truques foram surpreendentemente consistentes em ambos os grupos. Nem os especialistas humanos nem os modelos de inteligência artificial mostraram uma mudança significativa nas suas decisões com base na ordem do texto ou na emoção da foto. Ambos os grupos pareceram ignorar estas distrações e focar-se nos factos centrais do caso. Isto foi um alívio, sugerindo que os modelos não eram facilmente enganados pelas mesmas pistas visuais ou textuais que poderiam confundir um humano. No entanto, quando os investigadores analisaram as decisões de forma mais profunda, surgiu um tipo diferente de problema. Descobriram que nem os humanos nem as máquinas eram muito consistentes na sua lógica. Uma pessoa podia ser classificada com um nível de funcionamento "significativamente prejudicado", mas essa mesma pessoa poderia não receber o apoio de que necessitava. Inversamente, alguém classificado com funcionamento "médio" poderia ainda receber ajuda. A classificação de quão bem uma pessoa estava a funcionar não previa de forma fiável se ela receberia o apoio. Esta inconsistência existia tanto nos médicos humanos como nos modelos de computador, sugerindo que o salto de descrever um problema para conceder uma solução é um processo desordenado e humano, que as máquinas também herdaram.

Talvez a parte mais reveladora do estudo tenha surgido quando os investigadores pediram aos participantes para explicarem o seu raciocínio. Pediram aos humanos e às máquinas para definirem o que significava realmente "necessidades básicas de vida". Aqui, surgiu uma divisão clara. Os psicólogos humanos tendiam a ter uma visão ampla. Eles incluíam o bem-estar emocional, a capacidade de comunicação e a conexão social como partes essenciais de uma vida básica. Se uma pessoa não conseguisse falar com os outros ou compreender pistas sociais, os psicólogos viam isso como uma falha no cumprimento de uma necessidade básica. Os médicos humanos, no entanto, tinham uma visão mais estreita. Focavam-se quase inteiramente na sobrevivência física: a capacidade de comer, vestir-se, andar e usar o banheiro. Os modelos de inteligência artificial, surpreendentemente, alinharam-se com os médicos. Definiram as necessidades básicas quase exclusivamente em termos de sobrevivência biológica e autocuidado. Raramente mencionavam a comunicação ou a interação social, a menos que estivessem diretamente ligadas à segurança física.

Esta diferença de definição teve um impacto direto nas decisões finais. Como os psicólogos incluíam as dificuldades sociais e comunicativas na sua definição de "necessidades básicas", eram muito mais propensos a conceder apoio aos pacientes fictícios. Os médicos e os modelos de inteligência artificial, mantendo-se a uma lista de verificação biológica rigorosa, concederam apoio com menos frequência. Embora os modelos afirmassem ser muito humildes sobre o seu conhecimento — pontuando mais alto num teste de humildade intelectual do que os médicos humanos — esta humildade não tornou as suas decisões mais consistentes ou mais alinhadas com os especialistas humanos. Na verdade, as pontuações elevadas de humildade dos modelos pareciam ser um traço superficial, uma forma de falar que não se traduzia numa compreensão mais profunda da complexidade humana. As máquinas estavam dispostas a dizer que poderiam estar erradas, mas continuavam a operar num quadro médico estreito que perdia a realidade social das pessoas que estavam a julgar.

O estudo conclui que, embora a inteligência artificial possa ser boa a ignorar truques simples, como uma foto triste ou uma ordem de frases confusa, ainda não está preparada para substituir o julgamento humano nestas áreas sensíveis. Os modelos estão a reproduzir uma visão reducionista da vida humana, uma que valoriza a independência física em detrimento da conexão social e comunicativa. Ao focar-se apenas na capacidade do corpo de funcionar, as máquinas correm o risco de negar apoio a pessoas cujas maiores dificuldades residem no campo da interação e da compreensão. Os investigadores sugerem que, para a inteligência artificial ser verdadeiramente útil na saúde mental e na avaliação de deficiências, ela deve ser ensinada a ver a pessoa como um todo, e não apenas como uma máquina biológica. Até que a tecnologia consiga compreender todo o peso do que significa viver uma vida humana, confiar nela para estas decisões pode simplesmente reforçar as mesmas perspetivas estreitas que há muito tempo complicam o trabalho dos especialistas humanos.