When Verification Passes the Wrong Calculator: A Human-Adjudicated Study of a Guarded Local LLM Pipeline

No mundo da medicina moderna, os médicos frequentemente dependem de ferramentas especializadas para transformar dados brutos de pacientes em respostas claras. Essas ferramentas, conhecidas como calculadoras clínicas, pegam números específicos — como o peso, a idade ou os resultados de exames de sangue de uma pessoa — e aplicam um conjunto fixo de regras para produzir uma pontuação ou uma categoria que ajude a orientar o tratamento. Durante anos, essas ferramentas foram executadas por computadores que seguem instruções estritas e imutáveis, garantindo que a matemática seja sempre perfeita. Recentemente, um novo tipo de programa de computador surgiu: modelos de linguagem de grande escala. Estes são sistemas treinados em vastas quantidades de texto que podem ler a história de um paciente, compreender o contexto e tentar escolher a calculadora certa e fazer a matemática por você. A esperança é que esses sistemas possam agir como assistentes inteligentes, preenchendo a lacuna entre uma narrativa médica confusa e um resultado numérico preciso. No entanto, uma questão crítica permanece: se um programa de computador diz que fez a matemática corretamente, isso significa que ele realmente escolheu a ferramenta certa para o trabalho em primeiro lugar?

Uma equipe de pesquisadores da Universidade do Sul da Flórida decidiu testar exatamente essa questão usando um tipo específico de sistema de computador projetado para ser extra cuidadoso. Eles construíram um pipeline que atua como um porteiro guardião. Quando um caso de paciente é apresentado, o sistema primeiro decide qual calculadora usar. Em seguida, extrai os números necessários do texto, execiode a conta usando um programa de computador rígido e livre de erros e, finalmente, verifica seu próprio trabalho tentando representar a resposta de uma forma diferente para ver se os números ainda coincidem. Os pesquisadores queriam saber se essa verificação interna de consistência era suficiente para garantir a segurança. O estudo, que envolveu o teste do sistema em mais de mil registros e um conjunto separado de relatórios de casos médicos do mundo real, revelou uma falha surpreendente e potencialmente perigosa. O sistema conseguia passar em todas as suas verificações internas e produzir uma resposta matematicamente consistente mesmo quando havia selecionado a calculadora completamente errada para a condição do paciente.

Os pesquisadores avaliaram seu sistema, que chamaram de CIBB-Guard, contra uma forma padrão de fazer perguntas diretamente ao computador. Em um grande teste envolvendo mais de mil registros, a maioria dos quais eram sintéticos ou gerados por computador, o sistema guardado teve um desempenho significativamente melhor. Ele produziu a resposta correta para cerca de sessenta por cento dos casos, enquanto a abordagem direta teve sucesso em apenas cerca de dez por cento. Esse progresso veio da capacidade do sistema de selecionar uma regra, extrair dados e verificar a matemática. No entanto, o verdadeiro teste veio quando os pesquisadores observaram casos em que nenhuma calculadora deveria ter sido usada. Eles pegaram setenta e sete relatos de casos médicos desidentificados e pediram que especialistas humanos os classificassem como elegíveis ou inelegíveis para as calculadoras sendo testadas. Nos casos em que as calculadoras não se aplicavam, o sistema guardado recusou-se corretamente a dar uma resposta em vinte e um de trinta e três instâncias. Mas, nos doze casos restantes, o sistema forneceu confiantemente uma resposta, e essa resposta passou em suas próprias verificações internas de verificação.

É aqui que reside a descoberta central. Naqueles doze casos inapropriados, o sistema havia escolhido uma calculadora que não se ajustava à história do paciente, mas a matemática que realizou foi internamente consistente. O sistema verificou seu trabalho representando os números em uma forma alternativa, e as duas versões concordaram. Esse acordo confirmou que o computador executou a regra escolhida corretamente, mas não confirmou que a regra era a certa a ser usada. De fato, em quase todas essas respostas erradas, a verificação interna passou com sucesso. O estudo descobriu que a própria rede de segurança do sistema, projetada para capturar erros de cálculo, era cega ao erro de escolher a ferramenta errada por completo. Quando o sistema foi testado em casos onde uma calculadora era de fato apropriada, ele conseguiu produzir apenas quatro respostas corretas de quarenta e quatro, um resultado que não era estatisticamente diferente da abordagem direta, destacando que o sistema ainda tem dificuldades com a tarefa complexa de combinar a história de um paciente com a regra certa.

Os pesquisadores enfatizam que suas descobertas não significam que o sistema seja inútil, mas sim que ele é incompleto. O estudo utilizou uma versão única e congelada de um modelo de computador e uma biblioteca específica de doze calculadoras. Os resultados mostram que, embora o sistema possa melhorar a precisão da execução matemática e reduzir erros aleatórios, ele ainda não consegue determinar se uma calculadora é aplicável a um paciente específico sem supervisão humana. O fato de o sistema ter passado em suas verificações internas em respostas erradas sugere que confiar apenas na consistência matemática não é suficiente para garantir a segurança clínica. Os autores concluem que, antes que tal sistema possa ser usado em um hospital, deve haver uma verificação separada e independente para verificar se a calculadora escolhida é realmente apropriada para o caso, em vez de apenas verificar se a matemática está correta. O trabalho serve como uma nota de cautela de que um computador pode ser perfeitamente consistente enquanto está completamente errado sobre o contexto e que, na medicina, obter a ferramenta certa é tão importante quanto fazer a matemática corretamente.