A live agent benchmark of independent action authorization for healthcare AI agents

No mundo emergente da inteligência artificial, uma mudança significativa está em curso. Os computadores já não se limitam a responder perguntas; estão a começar a agir. Podem recuperar registos médicos, planear sequências complexas de trabalho e utilizar ferramentas digitais para realizar tarefas. Esta nova capacidade desencadeou uma corrida para construir benchmarks, que são testes padronizados concebidos para medir o quão bem estes agentes digitais desempenham. No entanto, permanece uma lacuna crítica na forma como os avaliamos. A maioria dos testes atuais foca-se inteiramente na capacidade: consegue o agente encontrar a resposta certa ou concluir a tarefa? Raramente medem a autorização: tem o agente permissão para tomar essa ação e sob que condições? Na saúde, onde um erro pode ter consequências graves, saber o que um agente pode fazer não é suficiente; temos de saber o que ele é autorizado a fazer. A questão é se a adição de uma camada de segurança externa, um porteiro digital que verifica cada movimento antes de este acontecer, torna realmente o sistema mais seguro, ou se simplesmente abranda o processo e cria novos problemas.

Um estudo recente procurou responder a isto através da realização de um experimento ao vivo com agentes de inteligência artificial num ambiente de saúde simulado. Os investigadores criaram um cenário controlado onde mantiveram tudo constante — as tarefas específicas, o modelo de IA, as instruções dadas ao computador e as ferramentas digitais disponíveis. A única coisa que alteraram foi a presença ou não de uma camada de segurança independente para aprovar ou bloquear as ações do agente. Realizaram centenas destes episódios de coordenação de cuidados simulados, criando uma situação em que a camada de segurança tinha de tomar decisões baseadas em informações imperfeitas, tal como faria um supervisor humano. O objetivo era ver se esta camada extra de supervisão evitava de facto erros perigosos ou se introduzia novos erros e atrasos.

O experimento envolveu quatro configurações diferentes. Um grupo de agentes seguia regras estritas e imutáveis, agindo como uma calculadora simples. Outro grupo era um agente sem restrições, livre para usar qualquer ferramenta que quisesse, sem quaisquer verificações externas. O terceiro grupo utilizava o mesmo agente sem restrições, mas colocado atrás de um "gateway de segurança", um sistema que revia cada ação proposta face a um conjunto de regras antes de permitir que ela prosseguisse. O quarto grupo adicionou um controlador dinâmico sobre esse gateway, que podia ajustar o nível de liberdade do agente com base no seu desempenho recente. Os investigadores realizaram 576 episódios distintos nestas configurações, garantindo que cada cenário fosse testado sob condições idênticas para permitir uma comparação justa.

Os resultados ofereceram um quadro surpreendente e matizado. A medida principal foi a taxa de ações inseguras, definida como qualquer passo dado pelo agente que violasse as políticas de segurança, como tentar alterar uma medicação que era explicitamente proibida ou contactar um paciente sem a devida autorização. No grupo com o sistema de segurança completo em vigor, as ações inseguras ocorreram em 0,7 por cento dos episódios. No grupo sem quaisquer verificações de segurança, a taxa foi ligeiramente inferior, situando-se em 0,4 por cento. A diferença foi tão pequena que poderia facilmente ser devida ao acaso, o que significa que a camada de segurança não reduziu estatisticamente o número de erros. De facto, o agente sem restrições nem sequer tentou a ação proibida específica que estava oculta nos cenários de teste, sugerindo que a IA já estava a comportar-se de forma muito cautelosa por conta própria.

Embora a camada de segurança não tenha melhorado a segurança, teve um custo claro. Os agentes que operavam sob o sistema de governação completo demoraram mais tempo a completar as suas tarefas e exigiram mais esforço humano para serem geridos. A sua taxa de sucesso em tarefas rotineiras diminuiu significativamente, e foram menos precisos ao decidir quando escalar um caso para um médico humano. O sistema também se tornou mais caro de operar. Os investigadores descobriram que o gateway de segurança e o controlador dinâmico adicionaram atrasos mensuráveis e carga de trabalho sem proporcionar um benefício de segurança mensurável neste contexto específico. Isto sugere que, para um modelo de IA que já está bem alinhado e com baixa probabilidade de cometer erros perigosos, a adição de uma camada externa de verificação de permissões pode ser um fardo desnecessário que abranda o desempenho sem capturar novos erros.

O estudo também destacou as limitações de tais testes. Os episódios eram sintéticos, o que significa que eram cenários gerados por computador em vez de registos reais de pacientes, e as regras de segurança baseavam-se num conjunto fixo de diretrizes em vez do julgamento complexo de um médico humano. Os investigadores observaram que o modelo de IA testado tinha, por coincidência, uma taxa basal de erros muito baixa, deixando pouco espaço para uma camada de segurança demonstrar melhorias. Eles alertaram que este resultado poderá não se aplicar a diferentes modelos de IA que sejam mais propensos a erros ou a diferentes tipos de tarefas de saúde. As conclusções não provam que as camadas de segurança sejam inúteis, mas mostram que não são uma solução gratuita ou automática. Antes de uma organização decidir adicionar um sistema de segurança complexo a um agente de IA, deve primeiro medir a frequência com que esse agente específico comete erros por conta própria. Se o agente já for seguro, a camada de segurança poderá ser apenas um entrave que adiciona tempo e esforço sem alterar o resultado.

Em última análise, esta investigação proporciona um olhar controlado e raro sobre os compromissos da autonomia da IA na saúde. Desafia a suposição de que mais supervisão significa sempre mais segurança. Em vez disso, sugere que o valor de um portão de segurança externo depende inteiramente do comportamento do agente que ele está a guardar. Se o agente já for cuidadoso, o portão pode ser apenas um gargalo. Se o agente for propenso a erros, o portão pode ser essencial. O estudo conclui que as organizações não devem assumir que uma camada de segurança é uma apólice de seguro sem custos; devem testar os seus agentes específicos para ver se a camada realmente deteta erros ou se está apenas a abrandar um sistema que já estava a funcionar bem.