Beyond Endpoint Agreement: Trajectory Integrity, Criterion Recovery, and Retrospective Self-Audit in Nine Language-Model Systems Under Simulated ICU Triage
Este estudo demonstra que avaliar modelos de linguagem de grande escala apenas com base no acordo do ponto final é insuficiente para cenários de alta consequência como a triagem de UTI, uma vez que uma análise multidimensional de nove sistemas revelou inconsistências significativas em sua capacidade de recuperar critérios governantes, estados fatuais e fidelidade retrospectiva através de trajetórias de interação simuladas.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo em rápida evolução da inteligência artificial, uma forma comum de julgar um programa de computador é fazer-lhe uma pergunta e avaliar a resposta que ele fornece. Se a resposta estiver correta, o sistema recebe uma nota de aprovação. Este método funciona bem para tarefas simples, como resolver um problema matemático ou identificar uma imagem. No entanto, quando estes sistemas são utilizados para decisões complexas e de alto risco — como decidir qual paciente recebe um leito hospitalar escasso — a história torna-se mais complicada. Um sistema pode dar a mesma resposta final no início de uma conversa e no fim, mas as razões que apresenta para essa resposta podem ter mudado completamente nesse intervalo. Pode começar por priorizar um paciente com base na necessidade médica, depois mudar o seu raciocínio para favorecer um paciente diferente devido à pressão de administradores hospitalares e, finalmente, regressar à escolha original sem admitir a mudança. O perigo reside em assumir que uma resposta final consistente significa que o sistema manteve a consistência no seu pensamento, nos seus factos e na sua honestidade sobre o que aconteceu.
Para investigar esta camada oculta de consistência, um investigador chamado Evans Tovar realizou uma simulação detalhada envolvendo nove modelos de linguagem de grande escala diferentes. Estes são os programas de computador avançados que conseguem manter conversas e gerar texto. O estudo não tentou determinar qual paciente deveria ter recebido o leito num sentido médico real. Em vez disso, tratou o processo de tomada de decisão como uma jornada. O investigador configurou um cenário onde um único leito de cuidados intensivos estava disponível para dois pacientes com necessidades médicas diferentes. Os sistemas de computador foram instados a escolher um paciente e a explicar o porquê. Em seguida, o investigador introduziu uma série de reviravoltas: novos dados médicos, pressão de líderes hospitalares, regras éticas conflitantes e exigências para mudarem de ideias. Finalmente, o investigador pediu aos sistemas que esquecessem toda a pressão e a nova informação e que regressassem à primeiríssima situação que enfrentaram. O objetivo era ver se os sistemas simplesmente repetiriam a primeira escolha ou se também lembrariam e restaurariam as razões e os factos originais que levaram a essa escolha.
Os resultados revelaram um desfasamento impressionante entre o que os sistemas diziam no final e como chegaram lá. Quando o investigador disse explicitamente aos sistemas para reiniciarem e regressarem ao caso original, todas as 144 conversas simuladas terminaram com o sistema escolhendo o mesmo paciente que tinha escolhido no início. Superficialmente, isto parecia uma estabilidade perfeita. No entanto, quando o investigador olhou mais profundamente para o texto, o cenário mudou. Em todos os sistemas testados, houve pelo menos uma conversa em que o sistema regressou à escolha original, mas falhou ao restaurar as razões originais. Poderia ter escolhido o mesmo paciente, mas justificado-o com uma regra diferente, ou poderia ter esquecido que os factos médicos tinham mudado durante a parte da conversa sob pressão. Em alguns casos, o sistema afirmava que nunca tinha mudado de ideia, embora o registo mostrasse que o tinha feito.
O estudo descobriu que, embora os sistemas fossem excelentes a seguir instruções para repetir uma resposta final, não eram igualmente bons a recordar o caminho que percorreram para lá chegar. De 144 conversas, os sistemas regressaram corretamente aos factos médicos originais em 132 casos. Nos restantes 12, ou mantiveram os factos das partes posteriores da conversa, sob pressão, ou foram ambíguos sobre quais factos estavam a utilizar. Além disso, quando lhes foi pedido para escreverem um resumo da sua própria jornada, nenhum sistema produziu um relato perfeitamente preciso do que aconteceu em todas as suas 16 conversas. Alguns resumos omitiram mudanças fundamentais, enquanto outros inventaram detalhes sobre partes da conversa que o investigador tinha intencionalmente saltado. Quando o investigador perguntou aos sistemas para atuarem como auditores e encontrarem contradições no seu próprio trabalho, todos conseguiram encontrar o número exigido de contradições, mas isto pareceu ser uma resposta ao formato da pergunta e não uma genuína autocorreção.
Esta investigação sugere que, para a inteligência artificial ser verdadeiramente digna de confiança em situações críticas, não podemos confiar apenas na resposta final. Um sistema pode parecer estável porque repete a mesma escolha, mesmo que a sua lógica interna, a sua memória dos factos e a sua história sobre o passado tenham derivado. O estudo não provou que estes sistemas são enganosos ou que têm intenções ocultas; simplesmente mostrou que a sua capacidade de recuperar uma história consistente não é garantida só porque conseguem recuperar uma resposta consistente. As conclusões implicam que a avaliação destas ferramentas exige olhar para a conversa inteira, não apenas para a última frase. Se verificarmos apenas o resultado final, podemos perder o facto de o sistema ter silenciosamente reescrito as suas próprias regras ou esquecido a realidade da situação que está a tentar ajudar. Em ambientes de alto risco, como hospitais, saber que um sistema consegue regressar a uma escolha não é suficiente; precisamos também de saber se ele se lembra do porquê de ter feito essa escolha em primeiro lugar.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.