Evaluating Frontier AI Agents as Autonomous Clinical Security Auditors

Resumo Técnico: Avaliando Agentes de IA de Fronteira como Auditores de Segurança Clínica Autônomos

Definição do Problema
Modelos de IA clínica estão sendo cada vez mais implantados em ambientes de alto risco (ex: predição de mortalidade, triagem radiológica) sem testes adversariais formais. Embora esses modelos possam apresentar bom desempenho em dados de teste não vistos, eles permanecem suscetíveis a pequenas perturbações deliberadas nos inputs que podem levar a danos ao paciente. A auditoria de segurança atual é um gargalo estrutural: ela exige expertise estatística, implementação de software customizado (ex: ataques baseados em gradiente, modelos de sombra, métricas de calibração) e tempo significativo. A maioria das equipes de implantação clínica carece desses recursos, o que leva a avaliações ad hoc, incompletas ou delegadas aos fornecedores. O artigo postula que agentes de IA de fronteira, capazes de raciocínio de múltiplos passos e uso de ferramentas, poderiam preencher autonomamente essa lacuna ao implementar especificações de avaliação de segurança estruturadas sem orientação de um humano no ciclo (human-in-the-loop).

Metodologia
Os autores construíram uma tarefa de avaliação aberta baseada no Padrão de Tarefa METR v0.3.0 para testar se agentes de IA de fronteira podem executar autonomamente uma avaliação de Pontuação de Postura de Segurança (SPS - Security Posture Score).

• Ambiente de Tarefa: O agente opera dentro de um contêiner Docker com acesso a um modelo clínico pré-treinado, um conjunto de dados de pacientes e uma especificação de auditoria escrita. O agente não possui código de suporte (scaffolding); ele deve implementar toda a lógica a partir do pseudocódigo fornecido nas instruções.
• O Framework SPS: O agente deve implementar quatro componentes adversariais distintos e agregá-los em uma pontuação ponderada:
  1. Robustez FGSM ($s_{fgsm}$): Implementação do Fast Gradient Sign Method usando uma regressão logística substituta para aproximar gradientes para modelos alvo não diferenciáveis.
  2. Resistência à Inferência de Membros ($s_{mi}$): Treinamento de quatro modelos de sombra em subconjuntos de dados sobrepostos para construir um classificador de ataque e testá-lo contra o modelo alvo.
  3. Erro de Calibração Esperado ($s_{ece}$): Agrupamento (binning) de probabilidades preditas e computação do desvio absoluto médio ponderado entre acurácia e confiança.
  4. Resistência ao Ataque de Fronteira ($s_{ba}$): Caminhada iterativa de pontos de teste em direção à classe oposta para medir a proximidade da fronteira de decisão.
• Restrições: O agente deve escrever um relatório JSON estruturado em submission.txt via interface de ferramenta bash dentro de um limite de 40 turnos.
• Design Experimental:
  • Datasets: Dois conjuntos de dados clínicos foram utilizados: Wisconsin Diagnostic Breast Cancer (WDBC) e MIMIC-IV (mortalidade em UTI).
  • Modelos: Três arquiteturas de modelos com níveis crescentes de força de defesa (Linha de base de Regressão Logística, Random Forest com escalonamento de Platt, XGBoost com treinamento adversarial).
  • Agentes: Três modelos de fronteira foram avaliados: Claude Sonnet 4.6, GPT-4.1 e GPT-4o.
  • Protocolo: Cada modelo realizou três execuções independentes por variante (6 variantes no total), resultando em 54 avaliações totais.

Principais Contribuições

1. Tarefa de Avaliação Aberta: O artigo libera uma tarefa padronizada pelo METR para auditoria de segurança de IA clínica, incluindo a especificação SPS, infraestrutura de pontuação automatizada e ativos públicos para as variantes do WDBC.
2. Comparação Empírica: Um piloto de avaliação de 54 execuções comparando as taxas de conclusão de tarefa, eficiência de tokens e precisão numérica de três modelos de fronteira.
3. Taxonomia de Modos de Falha: Uma caracterização de três modos de falha distintos observados no GPT-4o: terminação precoce da sessão antes da escrita do arquivo, erros aritméticos na agregação ponderada e arquivos de submissão vazios.

Resultos

• Conclusão de Tarefa: Claude Sonnet 4.6 e GPT-4.1 alcançaram 100% de conclusão de tarefa (18/18 execuções cada) com pontuações de avaliador perfeitas. Eles produziram resultados numericamente idênticos entre as execuções (com pequena variância no GPT-4.1 devido a sementes estocásticas de treinamento de modelos de sombra).
• Desempenho do GPT-4o: O GPT-4o alcançou uma taxa de conclusão de 61% (11/18 execuções). As 7 execuções que falharam resultaram em nenhuma submissão válida ou em uma pontuação parcial devido a erros de agregação.
• Eficiência e Custo:
  • Uso de Tokens: O GPT-4o consumiu aproximadamente 5 vezes mais tokens de entrada por execução do que o Claude Sonnet 4.6 (169K vs. 34K).
  • Custos de API: Em 18 execuções, o GPT-4.1 custou ~$8, o Claude Sonnet 4.6 custou ~$12 e o GPT-4o custou ~$27.
  • Turnos: O Claude teve média de 4,7 turnos; o GPT-4.1 teve média de 10,4 turnos; o GPT-4o teve média de 16,9 turnos, com algumas execuções atingindo o limite de 40 turnos.
• Análise de Falhas: As falhas do GPT-4o foram atribuídas a questões de "disciplina de execução agêntica" em vez de falta de capacidade de raciocínio. Falhas específicas incluíram:
  • Terminar sessões antes de escrever o arquivo JSON final (5 casos).
  • Erros aritméticos manuais na etapa de agregação ponderada final em vez de cálculo programático (1 caso).
  • Criação de um arquivo de submissão vazio (1 caso).

Significância e Alegações
O artigo alega que agentes de IA de fronteira são capazes de implementar autonomamente avaliações de segurança clínica estruturadas com alta fidelidade, desde que a tarefa seja bem definida. Os resultados sugerem que a seleção do modelo é uma decisão arquitetônica primária para profissionais que constroem pipelines de segurança agêntica; a lacuna entre o desempenho perfeito do Claude Sonnet 4.6/GPT-4.1 e a taxa de falha de 39% do GPT-4o é significativa o suficiente para impactar a confiabilidade da implantação.

Os autores enfatizam que este é um estudo piloto ($n=18$ por modelo) destinado a identificar padrões, em vez de fornecer estimativas pontuais precisas. Eles explicitamente observam que os pesos e limiares do framework SPS foram retirados de um preprint complementar (Eniolade, 2026) e ainda não passaram por revisão por pares independente. O estudo conclui que, embora a tecnologia seja viável, a "disciplina de execução" do agente — especificamente a capacidade de rastrear o progresso e evitar inflação de contexto ou terminação prematura — é um diferencial crítico em tarefas técnicas de múltiplos passos. O artigo não afirma que esses agentes podem substituir inteiramente os estatísticos humanos, mas sim que podem automatizar a implementação de protocolos de avaliação rigorosos que são atualmente inacessíveis para muitas equipes clínicas.