Deployment protocol and base model jointly determine residual risk in rule-based clinical LLM supervision

Imagine que você acabou de construir um assistente robô superinteligente, capaz de ler prontuários médicos e sugerir tratamentos. Você está empolgado, mas também sabe que até os robôs mais inteligentes podem, às vezes, inventar fatos, dar conselhos perigosos ou se confundir com perguntas complexas. Este é o mundo dos Modelos de Linguagem de Grande Escala (LLMs) Clínicos: ferramentas de IA poderosas projetadas para ajudar médicos, mas que carregam um risco real de cometer erros que podem ferir pacientes. Para manter as coisas seguras, cientistas têm construído "guardrails" (proteções) — redes de segurança digitais que verificam as respostas do robô antes que qualquer pessoa as veja. Mas aqui está a grande questão: uma rede de segurança funciona da mesma forma em todos os robôs? E o que acontece se você remover o plano de contingência humano? Este artigo mergulha exatamente nisso, testando se um conjunto específico de verificações de segurança baseadas em regras pode manter diferentes modelos de IA seguros, e quanto risco permanece se tentarmos deixá-los operar completamente sozinhos.

Os pesquisadores configuraram um "sentinela" digital — um árbitro rigoroso e seguidor de regras composto por cinco portões diferentes — para vigiar cinco modelos de IA diferentes (variando de modelos de código aberto menores até modelos comerciais massivos e de alto nível). Eles testaram esses modelos em dois tipos de cenários médicos: casos fictícios criados para enganar a IA e casos reais extraídos de registros hospitalares. Eles realizaram os testes em dois modos muito diferentes. O primeiro modo, "Handoff-On" (Transferência Ativada), é como ter um supervisor humano parado logo ao lado do robô. Se o sentinela detectar uma resposta ruim, ele a bloqueia e a envia para um médico humano para ser corrigida ou revisada. O segundo modo, "Handoff-Off" (Transferência Desativada), é o modo "autônomo": o robô tem que fazer o trabalho inteiramente sozinho. Se o sentinela detectar uma resposta ruim aqui, não há um humano para salvar o dia; a resposta original, potencialmente perigosa, pode acabar passando, ou o sistema simplesmente terá que lidar com a bagunça.

Os resultados foram uma mistura de "ótimas notícias" e "cuidado, proceda com cautela". Quando o supervisor humano estava presente (Handoff-On), a rede de segurança funcionou incrivelmente bem para todos os modelos. Não importava qual IA eles testassem, a taxa de respostas perigosas que realmente chegavam ao usuário permaneceu abaixo de 6%. Era como ter um segurança em uma boate que pegava quase todos os encrenqueiros. No entanto, o custo dessa segurança variou drasticamente. Modelos mais fracos (como Qwen 7B e Llama 8B) precisaram ser interrompidos e enviados para um humano pedir ajuda em quase metade dos casos. Modelos mais fortes (como Sonnet 4.5 e Gemma 4) mal precisaram de ajuda, deixando passar diretamente mais de 99% de suas respostas.

Mas quando desligaram o supervisor humano (Handoff-Off), a história mudou completamente. A segurança do sistema passou a depender inteiramente de qual robô você estava usando. Os modelos mais fortes permaneceram seguros, com respostas perigosas permanecendo muito baixas (cerca de 0% a 2%). Mas os modelos mais fracos? Sua segurança desmoronou. Sem um humano para pegá-los, a taxa de respostas perigosas saltou para entre 13% e quase 50%. O artigo descobriu que a chave para essa diferença foi o quão bem a IA conseguia se "autocorrigir". Quando o sentinela dizia a um modelo forte: "Ei, você cometeu um erro, tente novamente", o modelo forte geralmente corrigia o erro. Os modelos mais fracos, no entanto, muitas vezes não consegiam corrigir seus próprios erros, especialmente se errassem o formato básico de sua resposta.

Os pesquisadores também testaram o que acontece se você tentar fazer o "fine-tuning" (ajuste fino ou re-treinamento) de um modelo para torná-lo melhor em tarefas específicas. Surpreendentemente, isso às vezes tornava o modelo pior em seguir regras de segurança, fazendo com que ele quebrasse suas próprias regras de formatação. No entanto, mesmo nesses casos, o sentinela baseado em regras foi robusto o suficiente para detectar os erros e manter a saída final segura. Eles até testaram um modelo massivo de 70 bilhões de parâmetros em quase 3.000 cenários do mundo real de três hospitais diferentes, e isso confirmou a tendência: com um suporte humano, era perfeitamente seguro; sem ele, ainda era muito seguro, mas não tão perfeito quanto os principais modelos comerciais.

Um experimento final, crucial, envolveu um médico humano revisando as respostas finais da IA. O médico descobriu que, embora as regras de segurança pegassem erros óbvios, elas perdiam alguns erros sutis, mas perigosos, de raciocínio médico. Por exemplo, a IA pode seguir todas as regras de segurança perfeitamente e, ainda assim, sugerir a dosagem errada de um medicamento porque entendeu incorretamente um resultado de exame laboratorial. Isso prova que, embora o sentinela baseado em regras seja uma rede de segurança fantástica para capturar erros estruturais, ele não é um substituto para o cérebro de um médico. O artigo conclui que, se quisermos usar essas ferramentas de IA em hospitais, precisamos escolher o modelo certo para o trabalho e ser honestos sobre se temos um humano pronto para intervir. Você não pode simplesmente assumir que uma rede de segurança funciona da mesma forma para todos os robôs, e você definitivamente não pode deixar os robôs mais fracos comandarem sozinhos.