ToolFlood: Beyond Selection -- Hiding Valid Tools from LLM Agents via Semantic Covering

Resumo Técnico: ToolFlood

1. O Problema: A Vulnerabilidade na Camada de Recuperação

Os agentes de Grandes Modelos de Linguagem (LLMs) dependem cada vez mais de sistemas de recuperação de ferramentas (tool retrieval) baseados em embeddings para selecionar um subconjunto top-k de ferramentas relevantes de um catálogo massivo antes de planejar e executar ações.

A segurança existente foca principalmente na fase de seleção: como um agente escolhe entre as ferramentas que já foram recuperadas e visíveis. Ataques anteriores tentavam manipular metadados para que uma ferramenta maliciosa fosse escolhida dentro desse conjunto.

O artigo identifica uma nova e crítica vulnerabilidade na camada de recuperação (pré-seleção):

• Dominação do Top-k: Um adversário não precisa apenas "ganhar" a seleção; ele pode saturar a lista de resultados top-k com ferramentas controladas pelo atacante, excluindo completamente as ferramentas benignas do contexto do agente.
• Falha das Defesas Atuais: Mecanismos de defesa que operam na fase de seleção (como filtragem de prompt ou sanitização) tornam-se inúteis se as ferramentas benignas nunca forem recuperadas. O agente é forçado a raciocinar apenas sobre um universo de ferramentas controlado pelo atacante.
• Ataque de Sybil Semântico: O ataque explora a geometria do espaço de embeddings, injetando um "enxame" (swarm) de ferramentas falsas que cobrem semanticamente as consultas dos usuários, empurrando as ferramentas legítimas para fora da janela de contexto.

2. Metodologia: ToolFlood

O ToolFlood é um ataque de duas fases projetado para realizar a cobertura semântica (semantic covering) do espaço de consultas, saturando a recuperação top-k.

Fase 1: Geração de Candidatos (Monte Carlo)

• O atacante amostra subconjuntos aleatórios de consultas-alvo ($Q_{tar}$).
• Utiliza um LLM para gerar metadados de ferramentas (nomes e descrições) que sejam semanticamente relevantes para todos os itens do subconjunto amostrado, e não apenas para uma única consulta.
• Isso cria um pool diversificado de candidatos que tendem a generalizar bem em regiões do espaço de embeddings, maximizando a chance de cobrir múltiplas consultas.

Fase 2: Seleção Gananciosa de Cobertura Múltipla

• O problema é formulado como um Problema de Cobertura Múltipla com Orçamento (Budgeted Multi-Cover). O objetivo é selecionar um subconjunto de ferramentas ($M_{adv}$) de tamanho limitado (orçamento $B$) que maximize o número de consultas cobertas.
• Uma consulta é considerada "coberta" se a distância cosseno entre a sua embedding e a embedding da ferramenta for menor que um limiar $\delta$.
• Para dominar o top-k, o atacante busca garantir que cada consulta tenha pelo menos $r = k$ ferramentas adversárias cobrindo-a (onde $k$ é o número de ferramentas recuperadas).
• Um algoritmo ganancioso (greedy) seleciona iterativamente a ferramenta que cobre o maior número de consultas ainda não saturadas, até atingir o orçamento ou cobrir todas as consultas.

Modelo de Ameaça:

• O atacante não tem acesso ao modelo de recuperação real (caixa preta), mas utiliza um modelo de embedding "surroga" (shadow model) para estimar a geometria do espaço.
• O atacante controla apenas os metadados das ferramentas injetadas (nome, descrição, esquema).

3. Principais Contribuições

1. Modelo de Ameaça de Dominação Top-k: Define formalmente o ataque de saturação da camada de recuperação, onde o objetivo é a exclusão total de ferramentas benignas do contexto, diferentemente dos ataques de seleção tradicionais.
2. Técnica ToolFlood: Apresenta um método prático que combina geração assistida por LLM com otimização gananciosa de cobertura semântica para criar enxames de ferramentas Sybil.
3. Análise Teórica: Fornece garantias teóricas de convergência, demonstrando que, com um número suficiente de iterações na Fase 1, é possível gerar um pool de candidatos capaz de saturar o espaço de consultas com alta probabilidade.
4. Avaliação Empírica: Demonstra a eficácia do ataque em benchmarks padrão (MetaTool e ToolBench) com taxas de injeção extremamente baixas.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados MetaTool (199 ferramentas benignas) e ToolBench (11.760 ferramentas benignas), utilizando recuperadores baseados em embeddings (ex: text-embedding-3-small).

• Taxa de Dominação Top-k (TDR): O ToolFlood alcançou uma taxa de sucesso de 97,2% no MetaTool e 91,0% no ToolBench. Isso significa que, na maioria dos casos, todas as ferramentas recuperadas pelo agente eram maliciosas.
• Taxa de Sucesso do Ataque (ASR): Com a dominação do top-k, a taxa de sucesso na seleção final de uma ferramenta adversária atingiu ~95-100% em vários modelos de LLM (GPT-4o, GPT-4o-mini, etc.).
• Eficiência de Orçamento: O ataque é altamente eficiente. No ToolBench, com apenas 1,2% de ferramentas injetadas (aprox. 145 ferramentas em um catálogo de 11.760), o ataque dominou a recuperação.
• Transferibilidade: O ataque mantém alta eficácia mesmo quando o modelo de embedding usado para otimização (surroga) é diferente do modelo usado na avaliação (ex: otimizar com MiniLM e avaliar com text-embedding-3-small), demonstrando robustez entre diferentes arquiteturas de embedding.
• Falha das Defesas:
  • MMR (Maximal Marginal Relevance): Reduziu a dominação (de 91% para 44,8%), mas a taxa de sucesso do ataque permaneceu alta (~91%), indicando que uma cobertura parcial ainda é suficiente para enganar o agente.
  • Filtros de Prompt (Llama Prompt Guard): Não teve efeito algum, pois o ToolFlood não usa injeção de prompt explícita, mas sim cobertura semântica ampla.

5. Significado e Impacto

• Mudança de Paradigma de Segurança: O trabalho desloca o foco da segurança de agentes de LLM da fase de seleção (onde o agente decide) para a fase de recuperação (onde o contexto é construído). Se a recuperação falha, as defesas subsequentes são contornadas.
• Risco em Mercados Abertos: Em ecossistemas de ferramentas abertas (como o GPT Store ou LangChain Hub), onde qualquer um pode publicar ferramentas, o ToolFlood demonstra como um ator malicioso pode silenciar ferramentas legítimas e redirecionar agentes para ferramentas controladas, causando falhas de serviço ou ações errôneas.
• Direções Futuras: O artigo sugere a necessidade de mecanismos de recuperação resilientes a Sybil, como:
  • Reordenamento consciente da diversidade (diversity-aware reranking).
  • Detecção de anomalias para padrões de inundação (flooding).
  • Controles de proveniência e governança mais rígidos para catálogos de ferramentas.

Em resumo, o ToolFlood expõe uma fragilidade fundamental na descoberta de ferramentas baseada em embeddings: a capacidade de um pequeno número de entidades maliciosas de "afogar" o sinal legítimo no espaço vetorial, comprometendo a disponibilidade e a integridade dos agentes de IA.