Resumo Técnico: FinVault: Avaliando a Segurança de Agentes Financeiros em Ambientes com Execução Fundamentada

1. Declaração do Problema

A implantação de agentes financeiros impulsionados por Grandes Modelos de Linguagem (LLMs) para análise de investimentos, avaliação de risco e tomada de decisão automatizada introduz riscos de segurança inéditos que se estendem além da conformidade de conteúdo tradicional. Os paradigmas de avaliação de segurança existentes sofrem de duas limitações primárias:

1. Foco Centrado no Conteúdo: As avaliações atuais avaliam principalmente os modelos de linguagem ao nível textual, focando se os modelos geram conteúdo inapropriado ou recusam solicitações não conformes. Elas falham em capturar riscos sistêmicos decorrentes de tomadas de decisão de múltiplas etapas, invocação de ferramentas e transições de estado dentro de fluxos de trabalho operacionais do mundo real.
2. Ambientes Abstratos: Os benchmarks de segurança de agentes gerais utilizam ambientes simulados com interfaces de ferramentas abstratas (por exemplo, respostas ou scripts predefinidos). Estes carecem dos mecanismos críticos de sistemas financeiros reais, como bancos de dados de negócios graváveis em estado, restrições de permissão e trilhas de operações auditáveis. Consequentemente, eles não podem verificar se um ataque resulta em ações de negócios de fato não conformes ou consequências de risco tangíveis.

Dado que os sistemas de IA financeira são classificados como de alto risco sob regulamentações como a SR 11-7 dos EUA e o AI Act da UE, há uma necessidade urgente de um benchmark de avaliação de segurança adaptado para cenários financeiros do mundo real que verifique a segurança e a conformidade dentro de fluxos de trabalho operacionais complexos e com execução fundamentada.

2. Metodologia: Estrutura FinVault

Para abordar essas lacunas, os autores propõem o FinVault, o primeiro benchmark de segurança com execução fundamentada para agentes financeiros. A estrutura é construída sobre três princípios centrais: design de cenário orientado por regulamentação, cobertura de domínio cruzado e realismo de negócio.

2.1 Design de Cenário e Ambiente

O FinVault constrói 31 cenários de negócios financeiros baseados em casos regulatórios dentro de um ambiente isolado em sandbox. Esses cenários cobrem seis grandes domínios financeiros:

• Crédito e Empréstimos
• Serviços de Seguros
• Valores Mobiliários e Investimentos
• Pagamentos e Liquidação
• Conformidade e Prevenção à Lavagem de Dinheiro (AML)
• Gestão de Risco

Diferente dos benchmarks abstratos, o FinVault apresenta ambientes executáveis com bancos de dados graváveis em estado. Os agentes interagem com esses cenários por meio de cadeias de ferramentas para acessar e atualizar os bancos de dados dos cenários. A camada de ambiente implementa explicitamente:

• Verificações de permissão e restrições de autorização.
• Restrições de conformidade (ex: limites regulatórios, listas de sanções).
• Logs de auditoria para trilhas de operação.

O sucesso ou fracasso de um ataque é determinado não apenas pela saída textual, mas por mudanças observáveis no estado do negócio e suas consequências (ex: uma transferência de fundos não autorizada ou um limite de crédito ultrapassado).

2.2 Modelo de Ameaça e Construção de Ataque

O benchmark define 107 vulnerabilidades de alto risco derivadas de padrões reais de violação regulatória, categorizadas em cinco tipos:

1. Bypass de Privilégio: Contornar autenticação ou autorização.
2. Violação de Conformidade: Induzir ações que violam requisitos regulatórios.
3. Vazamento de Informação: Extrair dados sensíveis de clientes ou de negócios.
4. Aprovação Fraudulenta: Manipular processos de decisão para resultados não autorizados.
5. Evasão de Auditoria: Ocultar violações dos mecanismos de registro.

O conjunto de dados de ataque compreende 963 casos de teste, incluindo 856 amostras adversárias e 107 amostras de negócios benignas. As amostras adversárias cobrem três categorias de ataque e oito técnicas específicas:

• Injeção de Prompt: Injeção de JSON Direta, Sobrescrita de Instrução.
• Jailbreaking: Role Playing (Atuação de Papel), Prompting Progressivo, Ofuscação de Codificação, Cenários Hipotéticos.
• Ataques Adaptados Financeiramente: Personificação de Autoridade, Manipulação Emocional.

O processo de construção envolve um pipeline de três estágios: design de ataques semente por especialistas, aumento baseado em modelos para diversidade e verificação humana para plausibilidade e clareza dos critérios de sucesso.

2.3 Configuração Experimental

Os autores avaliaram 10 LLMs mainstream (incluindo Qwen3, GPT-4o/5, Claude-Sonnet/Haiku, DeepSeek, etc.) atuando como agentes financeiros. Eles também avaliaram três mecanismos de defesa: LLaMA Guard 3, LLaMA Guard 4 e GPT-OSS-Safeguard.

Métricas de Avaliação:

• Taxa de Sucesso de Ataque (ASR): A proporção de ataques que acionam com sucesso uma vulnerabilidade.
• Taxa de Comprometimento de Vulnerabilidade: A proporção de vulnerabilidades predefinidas exploradas com sucesso por pelo menos uma técnica de ataque.
• Taxa de Falso Positivo (FPR): A taxa na qual os mecanismos de defesa sinalizam incorretamente instruções de negócios benignas.
• Eficiência: Consumo de tokens e tempo por caso.

3. Resultados Principais

3.1 Vulnerabilidade do Modelo

Os resultados experimentais revelam disparidades de segurança significativas entre os modelos, com nenhum modelo avaliado demonstrando proteção robusta em configurações financeiras realistas:

• Alto Sucesso de Ataque: O modelo mais vulnerável (Qwen3-Max) exibiu um ASR médio de 50,0%. Mesmo os modelos mais robustos (Claude-Haiku-4.5) tiveram um ASR médio de 6,7%.
• Comprometimento de Vulnerabilidade: Ao restringir a avaliação para verificar se qualquer técnica de ataque poderia explorar uma vulnerabilidade, a taxa de comprometimento atingiu 85,98% para os modelos mais fracos e 20,56% para os modelos mais robustos.
• Sensibilidade ao Cenário: Os cenários de serviços de seguros foram os mais suscetíveis a ataques (até 65,2% de ASR para Qwen3-Max), provavelmente devido à interpretação complexa de apólices e tomada de decisão discricionária. Os cenários de crédito foram comparativamente mais resilientes devido aos processos de decisão baseados em regras.

3.2 Eficácia da Técnica de Ataque

• Dominância Semântica: Ataques de nível semântico (Role Playing, Cenários Hipotéticos, Personificação de Autoridade) foram substancialmente mais eficazes do que ataques técnicos (ex: Ofuscação de Codificação). Ataques de role-playing alcançaram um ASR consistentemente alto em todos os modelos.
• Isolamento de Instrução: Ataques de sobrescrita de instrução mostraram uma enorme lacuna de desempenho entre os modelos. O Qwen3-Max teve um ASR de 64,50% contra esta técnica, enquanto o Claude-Haiku-4.5 teve apenas 3,70%, destacando diferenças fundamentais na aplicação de limites de instrução.

3.3 Avaliação de Mecanismos de Defesa

Os métodos de defesa existentes enfrentam um sério trade-off entre capacidade de detecção e falsos positivos:

• O LLaMA Guard 4 alcançou a maior Taxa de Verdadeiros Positivos (61,10%), mas ao custo de uma alta Taxa de Falsos Positivos (29,91%), o que poderia interromper fluxos de trabalho financeiros sensíveis.
• O GPT-OSS-Safeguard manteve o menor FPR (12,15%), mas teve uma taxa de detecção muito baixa (22,07%) e alto consumo de tokens, tornando-o inadequado para a tomada de decisão em tempo real.
• Conclusão: Nenhum mecanismo de defesa atual oferece proteção robusta; as taxas de comprometimento de vulnerabilidade permanecem acima de 20% mesmo para os modelos de base mais fortes.

4. Principais Contribuições

1. Primeiro Benchmark com Execução Fundamentada: O FinVault é o primeiro benchmark de segurança sistemático para agentes financeiros que utiliza sandboxes isoladas com bancos de dados de negócios graváveis em estado. Isso permite que falhas de segurança sejam verificadas através de mudanças observáveis no estado do negócio e trilhas de auditoria, em vez de depender apenas de saídas textuais.
2. Modelagem de Ameaças Abrangente: O trabalho define sistematicamente 107 vulnerabilidades de alto risco baseadas em padrões regulatórios reais e constrói uma taxonomia que cobre injeção de prompt, jailbreaking e ataques adaptados financeiramente, resultando em um conjunto de dados de 963 casos de teste.
3. Evidência Empírica de Fraqueza Sistêmica: O estudo fornece evidências empíricas de que o alinhamento de segurança de propósito geral não se transfere facilmente para configurações financeiras. Ele destaca que ataques semânticos representam uma ameaça maior do que os técnicos e que as defesas atuais lutam com o equilíbrio entre detecção e usabilidade.

5. Significância e Alegações

O artigo alega que o FinVault é essencial para que a comunidade de pesquisa desenvolva, avalie e implemente agentes de IA financeira mais seguros, fundamentados em condições operacionais e regulatórias do mundo real.

Os autores enfatizam que o estado atual da segurança de agentes financeiros é precário. As altas Taxas de Sucesso de Ataque (ASR) e a incapacidade das defesas existentes de equilibrar detecção com baixos falsos positivos indicam que os designs de segurança de propósito geral têm transferibilidade limitada para o domínio financeiro. Os achados sugerem que as falhas de segurança em LLMs derivam principalmente de fraquezas no nível de raciocínio semântico (ex: conformidade de papel, desfoque de limites de instrução) em vez de deficiências de parsing técnico.

O artigo conclui que estabelecer um benchmark de avaliação de segurança dedicado e de ponta a ponta, alinhado com processos de negócio reais, é um pré-requisito para a implementação segura e em larga escala de agentes financeiros, especialmente dado o alto risco de perda financeira direta e responsabilidade regulatória.

Limitações Reconhecidas:
Os autores observam que, embora as oito técnicas de ataque capturem paradigmas dominantes, estratégias emergentes ainda não estão cobertas. Além disso, embora os ambientes de sandbox aproximem os fluxos de trabalho reais, eles inevitavelmente diferem dos sistemas de produção em escala e complexidade de integração. Por fim, a métrica ASR trata todos os ataques bem-sucedidos de forma uniforme e não captura diferenças na severidade do ataque ou no impacto downstream.