Standard guardrails impose a safety-critical omission tax on clinical large language models that a downstream verification layer reverses: a retrospective multi-cohort evaluation

Resumo Técnico: Guardrails Padrão Impõem um Imposto de Omissão de Segurança Crítica em Grandes Modelos de Linguagem Clínicos

Declaração do Problema
Grandes Modelos de Linguagem (LLMs) clínicos implantados para suporte à decisão sofrem de dois modos distintos de falha de segurança: comissão (alucinações confiantes ou afirmações não fundamentadas) e omissão de segurança crítica (falha em mencionar investigações indicadas, contraindicações, escalonamentos ou diferenciais de alta acuidade). Embora os sistemas de saúde implementem amplamente pilhas de "guardrails" (proteções) para mitigar erros de comissão, o impacto empírico desses guardrails nas taxas de omissão permanece mal caracterizado. Estruturas teóricas sugerem que a alucinação é uma propriedade estrutural de modelos baseados em transformers que não pode ser eliminada por camadas colocadas sobre o modelo, e que a segurança e a precisão seguem diferentes leis de escala. Consequentemente, propriedades de segurança devem ser impostas por camadas externas ao modelo generativo. Este estudo investiga se os guardrails padrão aumentam inadvertidamente as taxas de omissão (um "imposto de omissão") e se uma camada de verificação a jusante pode reverter esse efeito sem reintroduzir erros de comissão.

Metodologia
Os autores conduziram uma avaliação retrospectiva, pré-especificada e de múltiplos coortes envolvendo três famílias de LLMs de fronteira: GPT-5.5, Gemini 3.1 Pro e Claude Opus 4.7. O estudo utilizou um corpus de casos e sondagens clínicas com exclusão de contaminação de 1.363 casos, garantindo que não houvesse sobreposição com os dados de pré-treinamento dos modelos via filtragem de 8-gramas.

O estudo comparou três configurações entre os modelos:

1. Modelo Nu (Bare Model): Saída direta sem intervenção.
2. Pilha de Guardrail Padrão: Um sistema de quatro componentes composto por um prompt de sistema de segurança clínica, filtros de moderação de conteúdo, geração aumentada por recuperação (RAG) com fundamentação em citações e um classificador de perigos aprendido.
3. Estrutura de Verificação: A pilha padrão mais uma camada de verificação a jusante que modifica a resposta antes do retorno. Esta camada inclui:
   • Um certificado de Rede Neural Lógica (LNN) sobre uma biblioteca de regras clínicas curadas (3.162 regras).
   • Um painel de seis agentes de verificação especialistas (ex: interação medicamentosa, conformidade com diretrizes) que exigem consenso para upgrades de triagem.
   • Um módulo de decomposição de conceitos que emite declarações de lacuna de atribuição residual.

O estudo empregou comparações pareadas em quatro coortes principais (incluindo casos estratificados por perigo e sondagens de comissão) e três coortes suplementares (adversariais, condições fabricadas e ablação de agentes). A análise estatística utilizou testes exatos de McNemar e intervalos de confiança de Newcombe para dados pareados.

Resultados Principais

• O Imposto de Omissão: A pilha de guardrail padrão reduziu com sucesso os erros de comissão, mas aumentou significativamente as taxas de omissão de segurança crítica. Em 921 execuções de casos pareados, a taxa de omissão subiu de 17,6% (modelo nu) para 30,1% (guardrails padrão), representando um "imposto de omissão" de 12,5 pontos percentuais.
• Reversão pela Camada de Verificação: A estrutura de verificação a jusante reduziu a taxa de omissão para 17,1%, efetivamente retornando ao nível do modelo nu. A redução absoluta pareada entre a configuração apenas com guardrail e a configuração com estrutura de verificação foi de 16,46 pontos percentuais (Newcombe 95% CI 10,93 a 21,86; $P = 1,32 \times 10^{-23}$).
• Taxas de Detecção e Falha (Catch and Miss): A estrutura de verificação detectou 49,0% das omissões de segurança crítica perdidas pelos guardrails padrão. Crucialmente, ela não perdeu nenhuma das omissões que os guardrails já haviam detectado, demonstrando um comportamento estritamente aditivo no eixo de detecção.
• Impacto na Comissão: A estrutura de verificação reduziu a omissão sem aumentar a comissão. No entanto, quando a mesma estrutura foi implantada meramente como texto de aconselhamento (anexado à saída sem modificar o pipeline de geração) ela aumentou os erros de comissão em 4,44 pontos percentuais ($P=0,0015$). Isso destaca que modificar o pipeline de geração de resposta é essencial para a segurança.
• Ablação de Componentes: Tanto o certificado LNN quanto o painel de agentes especialistas melhoraram individualmente a abrangência em relação aos guardrails padrão. A estrutura completa dominou estritamente qualquer um dos componentes isoladamente, indicando sinais não redundantes.
• Generalizabilidade: O padrão de resultados manteve-se em todas as três famílias de modelos, sugerindo que os achados são arquiteturais e não específicos de um modelo.

Significância e Alegações
O artigo alega fornecer a primeira evidência empírica de que as pilhas de guardrail padrão, embora eficazes contra alucinações, impõem um imposto de omissão de segurança crítica significativo em LLMs clínicos. O estudo demonstra que uma camada de verificação a jusante, especificamente uma que modifica o pipeline de geração de resposta em vez de apenas anexar texto, pode reverter esse imposto mantendo baixas taxas de comissão.

Os autores enquadram esses resultados como uma necessidade arquitetônica: como a alucinação é uma propriedade estrutural dos transformers, as propriedades de segurança devem ser impostas externamente. O estudo argumenta que o imposto de omissão é uma propriedade emergente da composição dos quatro componentes do guardrail, e não um artefato de um único componente.

Limitações e Trabalho Futuro
Os autores explicitamente observam várias limitações:

• O estudo é retrospectivo; os desfechos clínicos são substitutos (taxas de omissão/comissão) em vez de medidas diretas de dano ao paciente evitado.
• Os dados provêm de uma única organização prestadora de serviços dos EUA multiestadual com um mix de casos de Medicaid, limitando a generalizabilidade para outras populações ou especialidades.
• A avaliação depende de juízes LLM calibrados contra médicos, o que permanece um compromisso metodológico.
• Os modelos avaliados são famílias de fronteira específicas disponíveis na época do estudo (abril de 2026).

O artigo conclui que um ensaio clínico randomizado prospectivo comparando a pilha de guardrail padrão com e sem a estrutura de verificação em desfechos clínicos significativos para o paciente é o próximo passo necessário antes da implantação rotineira. O presente trabalho serve como um precursor para tal ensaio, aderindo aos padrões de relatório SPIRIT-AI e CONSORT-AI.