Robustness Gap of Large Language Models in Nephrology

A inteligência artificial começou a oferecer suporte na medicina, atuando como uma ferramenta capaz de ler vastas quantidades de texto e sugerir respostas para perguntas complexas. Em campos como o cuidado renal, ou nefrologia, os médicos devem constantemente pesar resultados laboratoriais, histórico do paciente e sinais físicos para decidir sobre tratamentos. Por anos, pesquisadores têm testado se esses programas de computador conseguem passar em exames médicos, uma forma padrão de verificar se eles sabem o suficiente para serem úteis. No entanto, uma pontuação alta em um teste de múltipla escolha não significa necessariamente que o sistema realmente compreenda a lógica por trás da resposta. Ele pode estar simplesmente reconhecendo padrões na forma como as perguntas são escritas ou adivinhando com base em quais opções parecem mais familiares. A questão crítica para o futuro do cuidado médico seguro é se esses modelos conseguem raciocinar através de um problema quando os atalhos usuais são removidos, ou se eles desmoronam quando forçados a pensar sem um apoio familiar.

Uma equipe de pesquisadores da Universidade Médica St. Marianna, no Japão, propôs-se a testar essa fraqueza específica usando um método que atua como um teste de estresse para a mente. Eles pegaram uma coleção de 145 questões reais usadas para renovar a certificação de especialistas em nefrologia no Japão. Essas questões abrangem o raciocínio profundo e complexo necessário para gerenciar doenças renais. Os pesquisadores então criaram uma versão modificada de cada uma das questões. No teste original, uma resposta específica era a correta. Na nova versão, eles substituíram essa resposta correta por uma frase que significa "nenhuma das outras respostas". Isso forçou os modelos de computador a fazer algo difícil: em vez de escolher a opção certa de uma lista, eles teriam que perceber que todas as outras opções estavam erradas e que a única escolha válida era aquela que afirmava que nenhuma delas se encaixava. Se um modelo estivesse verdadeiramente raciocinando através dos fatos médicos, ele deveria ser capaz de identificar que a resposta correta original estava ausente e selecionar a opção "nenhuma das anteriores". Se estivesse apenas adivinhando com base em padrões, provavelmente escolheria uma das opções incorretas restantes.

A equipe testou quatro dos modelos de linguagem mais avançados disponíveis, incluindo sistemas da OpenAI e do Google. Eles alimentaram os modelos com as perguntas originais e as versões modificadas separadamente, pedindo que escolhessem a melhor resposta em cada caso. Os resultados mostraram uma lacuna clara e significativa entre o desempenho dos modelos quando a resposta correta estava presente versus quando ela estava oculta. Quando os modelos enfrentavam as perguntas originais, eles performavam muito bem, com o melhor sistema respondendo corretamente quase 88 por cento das vezes. No entanto, assim que a resposta correta era substituída por "nenhuma das outras respostas", seu desempenho caía drasticamente. O sistema que começou com a pontuação mais alta ainda caiu para cerca de 73 por cento, um declínio estatisticamente significativo. Outros modelos apresentaram quedas ainda mais acentuadas, com um deles caindo de aproximadamente 66 por cento de acerto para apenas 19 por cento. Isso significa que, quando o padrão familiar de uma resposta correta era removido, os modelos lutavam para confiar em seu próprio raciocínio médico e frequentemente escolhiam uma opção errada que parecia plausível, em vez de admitir que a escolha correta estava ausente.

O estudo sugere que, embora os novos modelos estejam se tornando mais robustos e melhores em lidar com essas mudanças complicadas, eles ainda não são totalmente confiáveis para a tomada de decisão clínica independente. Os pesquisadores descobriram que mesmo os sistemas mais avançados tendem a ancorar na ideia de que uma das escolhas visíveis deve estar correta, mesmo quando a lógica do caso prova o contrário. Em um ambiente hospitalar do mundo real, esse comportamento poderia ser perigoso. Se um médico estiver sentindo falta de uma informação, como um valor laboratorial específico ou um sinal físico sutil, uma inteligência artificial segura deveria reconhecer que o caso não pode ser julgado e pedir mais dados. Em vez disso, esses modelos frequentemente preenchem as lacunas com um palpite confiante, porém incorreto. Os autores concluem que passar em um exame de múltipla escolha não é suficiente para provar que um modelo pode raciocinar como um médico. Para serem verdadeiramente seguros para uso no cuidado renal, esses sistemas precisam demonstrar que podem lidar com a incerteza e reconhecer quando uma resposta simplesmente não está disponível, em vez de apenas combinar padrões para obter a pontuação mais alta em um teste.