Resumo Técnico: SciTrace – Raciocínio de Segurança Consciente de Trajetória para Agentes de Descoberta Científica

Declaração do Problema

Embora os agentes científicos baseados em Grandes Modelos de Linguagem (LLMs) tenham demonstrado fortes capacidades de pesquisa autônoma, seus mecanismos de segurança permanecem estruturalmente desconectados de seus processos centrais de raciocínio. Estruturas existentes, como o SafeScientist, tratam a segurança como um filtro externo aplicado aos outputs do pipeline, em vez de uma parte intrínseca do processo de deliberação. Essa separação arquitetônica cria dois modos primários de falha:

1. Perda de Sinal nas Fronteiras de Estágio: Sinais de segurança acumulados em um estágio (ex: o estágio "Thinker") são frequentemente descartados antes que o próximo estágio (ex: o "Experimenter" ou "Writer") comece, fazendo com que os agentes subsequentes procedam sem o contexto crítico de risco.
2. Incapacidade de Detectar Riscos Composicionais: Monitores de etapa única filtram chamadas de ferramentas individuais, mas falham em detectar resultados prejudiciais que emergem apenas de sequências de chamadas individualmente benignas. Por exemplo, uma trajetória envolvendo a recuperação de genoma de patógenos, consulta a banco de dados de resistência a antibióticos e predição de estrutura de proteína pode passar por filtros individuais, mas coletivamente constituir um risco de síntese de duplo uso.

Metodologia

Os autores introduzem o SciTrace, um framework que integra o raciocínio de segurança diretamente em cada estágio do pipeline do agente científico. O SciTrace acopla dois mecanismos complementares para manter um estado de risco cumulativo ao longo da execução do agente:

1. Ciclo de Raciocínio Intrínseco à Segurança (SIR)

O SIR substitui os filtros independentes locais de cada estágio por uma deliberação conjunta de tarefa e segurança. Ele opera em cada transição de pipeline (Thinker, Experimenter, Writer, Reviewer) e realiza o seguinte:

• Raciocínio Conjunto: O SIR solicita ao LLM do agente um template estruturado contendo três entradas: (1) o conteúdo da tarefa do estágio atual, (2) o estado de risco cumulativo de todos os sinais anteriores e (3) verificações de segurança recuperadas de um módulo de memória compartilhada.
• Níveis de Risco Graduados: Em vez de decisões binárias de bloqueio/permissão, o SIR avalia os riscos em cinco níveis: SAFE (SEGURO), LOW-RISK (BAIXO RISCO), WARNING (AVISO), HIGH-RISK (ALTO RISCO) e BLOCK (BLOQUEIO).
• Propagação de Estado: Cada avaliação atualiza um estado de risco cumulativo compartilhado. Se categorias de alto risco de interação coocorrem (ex: biologia de duplo uso e síntese perigosa), o nível de risco geral é elevado. Isso garante que avisos levantados precocemente (ex: no estágio Thinker) permaneçam visíveis para os estágios subsequentes.
• Consciência de Memória: Seguindo o framework AGrail, o SIR recupera verificações de segurança passadas com base na sobreposição de palavras-chave para refinar o raciocínio dentro de uma sessão.

2. Verificador de Cadeia de Ferramentas Composicional (CTV)

O CTV intercepta cada proposta de chamada de ferramenta antes da execução através de um proxy de ferramenta verificado. Ele avalia a chamada dentro do contexto do histórico completo da trajetória para capturar perigos que monitores de etapa única ignoram.

• Análise de Três Subtarefas: Em uma única passagem de LLM, o CTV avalia:
  1. Prejudicialidade da Requisição: A requisição de pesquisa subjacente é inerentemente prejudicial?
  2. Risco Composicional: A chamada proposta, combinada com o histórico completo de chamadas, forma uma trajetória perigosa (especificamente visando a categoria de "Perigo Composicional", S9)?
  3. Segurança de Invocação de Ferramenta: A invocação específica é segura por si só?
• Pontuação e Ação: Estas dimensões são ponderadas para produzir um score de risco escalar ($s$).
  • $s > 0.5$: Bloquear a chamada.
  • $0.4 \le s \le 0.5$: Modificar a chamada via feedback TS-Flow.
  • $s < 0.4$: Permitir a chamada.
• Feedback TS-Flow: Quando uma chamada é sinalizada, o sistema gera um feedback construtivo sugerindo alternativas seguras (ex: substituir um organismo modelo não patogênico) em vez de emitir uma interrupção abrupta, preservando assim a utilidade da pesquisa.

Principais Contribuições

1. Framework SciTrace: Uma arquitetura de segurança intrínseca para agentes de LLM científicos que propaga estados de risco cumulativos através de todos os estágios do pipeline por meio de raciocínio conjunto de tarefa e segurança.
2. Ciclo de Raciocínio Intrínseco à Segurança (SIR): Um módulo de raciocínio consciente do estágio que apresenta cinco níveis de risco graduados e recuperação de verificação de segurança baseada em memória, substituindo filtros independentes por estágio.
3. Verificador de Cadeia de Ferramentas Composicional (CTV): Um verificador consciente da trajetória que realiza uma análise de segurança de três subtarefas antes da execução da ferramenta, especificamente projetado para capturar riscos que emergem em sequências de ferramentas de múltiplas etapas.
4. Mecanismo de Feedback TS-Flow: Um sistema de raciocínio corretivo que direciona os agentes para alternativas seguras em vez de simplesmente abortar tarefas.

Resultados Experimentais

O framework foi avaliado no SciSafetyBench, que contém 240 tarefas de pesquisa de alto risco e 120 tarefas de risco relacionadas a ferramentas em seis domínios científicos (Física, Química, Biologia, Ciência dos Materiais, Ciência da Informação e Medicina). As avaliações foram conduzidas em quatro modelos de base: Llama-3.1-70B, Qwen2.5-72B, DeepSeek-V3 e GPT-4o.

• Melhorias de Segurança: Comparado ao SafeScientist, o SciTrace melhorou a taxa de segurança de chamadas de ferramentas em uma média de 14,3 pontos percentuais (pp) e aumentou as taxas de rejeição adversarial em 24,7 pp em média.
• Detecção de Risco Composicional: O CTV do SciTrace identificou com sucesso 78,8% dos "escapes composicionais" — trajetórias que o monitor de etapa única do SafeScientist aprovou, mas que foram consideradas inseguras por um juiz alinhado com humanos. As taxas de detecção foram mais altas em Biologia (83,3%) e Química (81,3%).
• Preservação de Qualidade: O SciTrace manteve ou melhorou a qualidade do output científico (Qualidade, Clareza e Pontuações Gerais) em todos os modelos, demonstrando que o aumento da segurança não exige um compromisso na utilidade da pesquisa.
• Robustez: O framework mostrou ganhos significativos na defesa contra estratégias adversariais de múltiplos turnos, como persuasão gradual e decepção colaborativa, onde defesas sem estado (stateless) tipicamente falham.

Significância e Alegações

O artigo postula que a segurança em agentes autônomos de múltiplos estágios é melhor abordada como uma escolha arquitetônica e não como um filtro post-hoc. Ao unificar o raciocínio cross-stage e a verificação consciente da trajetória, o SciTrace aborda as limitações centrais de abordagens anteriores onde os sinais de segurança são perdidos entre os estágios ou onde riscos sequenciais são invisíveis para verificações de etapa única.

Os autores afirmam que o SciTrace estabelece um novo padrão para a segurança robusta de agentes de múltiplos estágios, sugerindo que os padrões de design desenvolvidos aqui — especificamente a propagação de estados de risco cumulativo e a verificação de trajetórias completas de ferramentas — devem ser transferíveis para agentes autônomos além do domínio da descoberta científica. O trabalho enfatiza que a segurança robusta requer um repensar fundamental de como a segurança é integrada ao próprio processo de raciocínio, movendo-se da inspeção externa para a deliberação intrínseca.