Resumo Técnico: Fluxo de Informação Geométrica (GIF) para LLMs

1. Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) servem cada vez mais como o motor de computação central em sistemas de agentes, mediando interações entre entradas não confiáveis, contexto privado e ações privilegiadas. Esta arquitetura cria dois riscos primários de segurança:

1. Violações de Integridade: Conteúdos controlados por atacantes (ex: injeções de prompt) podem manipular o uso de ferramentas, geração de código ou atualizações de memória subsequentes, fazendo com que o agente realize ações contrárias às suas instruções confiáveis.
2. Violações de Confidencialidade: O contexto privado pode vazar para saídas geradas, argumentos de ferramentas ou resumos, violando políticas de privacidade de dados.

As abordagens existentes de Controle de Fluxo de Informação (IFC) têm dificuldade neste domínio. O IFC tradicional baseia-se em rótulos de segurança grosseiros (ex: confiável/não confiável) propagados através de semânticas de programa explícitas. No entanto, os LLMs são autorregressivos e opacos; qualquer token de entrada pode influenciar fracamente qualquer token de saída. A aplicação de rótulos grosseiros leva a um sobre-contaminação (overtainting) severa, onde quase todo o contexto subsequente é marcado como não confiável, bloqueando funcionalidades legítimas. Por outro lado, defesas heurísticas (ex: filtros de prompt, monitores baseados em atenção) carecem de uma fundação semântica de princípios, muitas vezes perdendo fluxos de informação mediados pelo modelo que se acumulam através de traços de execução.

Há uma necessidade de uma semântica de fluxo de informação quantitativa para LLMs que possa medir exatamente quanta informação local de um intervalo de entrada específico é observável através de uma saída subsequente, distinguindo entre influência benigna e vazamento que viola políticas.

2. Metodologia: Fluxo de Informação Geométrica (GIF)

Os autores propõem o Fluxo de Informação Geométrica (GIF), um framework que rastreia o fluxo de informação analisando a geometria local do mapeamento de entrada-saída do LLM.

Conceito Central

O GIF mede a força da influência de um intervalo de entrada (um grupo contíguo de tokens) sobre uma saída subsequente perturbando o embedding desse intervalo e observando o deslocamento na distribuição de saída do modelo.

• Baixo Fluxo: Se perturbar o embedding de um intervalo mal altera a distribuição de saída, o intervalo carrega pouco fluxo de informação.
• Alto Fluxo: Se uma pequena perturbação causa um deslocamento significativo na distribuição de saída, o intervalo carrega alto fluxo.

Formulação Teórica

O GIF formaliza esta intuição como a informação mútua de Shannon entre uma perturbação aleatória do intervalo de entrada e a saída do próximo token observada.

1. Regularidade Local: O framework assume que, para pequenas perturbações em torno de um prompt base, o comportamento do LLM pode ser aproximado pela sua expansão de Taylor de primeira ordem (o Jacobiano).
2. Surrogate Gaussiano: Como calcular a informação mútua exata para modelos autorregressivos de alta dimensão é intratável, o GIF constrói um canal de surrrogado Gaussiano local. Este canal combina a geometria de Kullback-Leibler (KL) local do canal real do LLM.
3. Capacidade como Medida: A medida operacional do GIF é a capacidade deste canal de surrogado, definida como:
   $$\text{Cap}_T(\tau; x) = \frac{1}{2} \log \det(I + \tau M_T(x))$$
   Onde $M_T(x)$ é a matriz de "pullback de Fisher", representando a geometria de saída transportada de volta para o intervalo de entrada via Jacobiano do modelo e a matriz de informação de Fisher softmax.
4. Proxy de Influência: Para eficiência computacional, os autores também utilizam o traço de $M_T(x)$ (denotado como $\text{Inf}_T(x)$) como um limite superior linear e um proxy mais barato para a capacidade.

Implementação e Escalabilidade

Calcular o Jacobiano completo é proibitivamente caro para modelos grandes. O GIF emprega estimativa de traço randomizada (Hutch++) para estimar o escore de influência.

• Em vez de materializar o Jacobiano completo, o sistema utiliza um pequeno número de vetores de sonda aleatórios para estimar o traço da matriz de pullback de Fisher via produtos vetor-Jacobiano (VJPs).
• Isso reduz o custo computacional para um pequeno número de passagens de retropropagação (backward passes), tornando-o escalável para modelos de pesos abertos de grande porte.

Solidez (Soundness)

Os autores fornecem uma prova mecanizada completa em Lean 4 demonstrando que o GIF é localmente sólido. Sob suposições de regularidade suaves, o escore GIF (capacidade) limita assintoticamente superiormente o verdadeiro fluxo de informação induzido por um prompt. Isso garante que o GIF não subestime assintoticamente o vazamento, fornecendo uma garantia conservadora adequada para certificados de segurança.

3. Principais Contribuições

1. Framework de Fluxo de Informação Geométrica: Uma definição de GIF como uma medida de informação mútua local derivada de perturbações de embedding de intervalos para saídas de modelos, fundamentada na geometria do Jacobiano do LLM.
2. Prova de Solidez Mecanizada: Uma verificação formal em Lean 4 provando que o GIF é um verdadeiro surrogado de informação mútua e satisfaz a solidez local (não subestima o fluxo real).
3. Estimador Escalável: Uma implementação prática utilizando estimativa de traço Hutch++ e aproximações de baixo posto, permitindo que o GIF seja computado em modelos grandes sem formar o Jacobiano completo.
4. Avaliação Empírica: Avaliação abrangente através de três benchmarks (AgentDojo, MSB, AgentDAM) e seis modelos, demonstrando a eficácia do GIF na detecção de violações de integridade e confidencialidade.

4. Resultados Experimentais

Os autores avaliaram o GIF contra baselines incluindo atribuição baseada em atenção (RTBAS), atribuição baseada em gradiente (GIF-) e LLM-como-juiz (GPT-5.5 xhigh).

• Desempenho de Detecção: O GIF alcançou taxas de recall quase perfeitas para violações de política sem exigir um desclassificador downstream. Consistiu em superar as heurísticas baseadas em atenção (RTBAS) e os baselines baseados em gradiente (GIF-) em todos os datasets.
• Eficiência de Custo vs. Juízes LLM: Quando usado para guiar desclassificadores de LLM leves, o GIF igualou ou excedeu os escores F1/F2 dos baselines diretos de "LLM-como-juiz" (ex: GPT-5.5 xhigh) enquanto reduziu os custos de inferência de tokens em até 81×.
• Transferibilidade: Fluxos estimados usando modelos de surrogado pequenos (ex: um modelo de 0.6B) transferiram-se efetivamente para modelos alvo muito maiores (até 200× maiores, ex: 120B) e diferentes famílias de modelos, sugerindo aplicabilidade em implementações black-box onde o acesso ao gradiente é limitado.
• Precisão: Em estudos de caso, o GIF identificou com sucesso fluxos maliciosos em ataques de sucesso parcial (onde o agente seguiu parcialmente a injeção) e certificou corretamente o fluxo zero para dados privados que não influenciaram a saída, evitando a sobre-contaminação comum nos métodos baseados em atenção.

5. Significância e Alegações

O artigo afirma que o GIF estabelece uma fundação prática para o IFC escalável em sistemas de agentes modernos. Sua significância reside em:

• Semântica de Princípios: Ao contrário de métodos heurísticos, o GIF é fundamentado em uma formulação semântica formal (informação mútua local) com uma garantia de solidez provada.
• Granularidade: Move-se além de rótulos grosseiros de "confiável/não confiável" para identificar regiões de entrada específicas que exercem grande influência sobre ações subsequentes específicas, permitendo a aplicação de políticas refinadas.
• Escalabilidade: Ao alavancar aproximações geométricas e estimativa de traço, torna a análise rigorosa de fluxo de informação viável para LLMs de grande escala em fluxos de trabalho de agentes do mundo real.
• Potencial Black-Box: A capacidade de usar pequenos modelos de surrogado para estimar fluxos para modelos maiores abre as portas para implantar estas defesas mesmo quando os internos do modelo alvo não são totalmente acessíveis.

Os autores concluem que o GIF fornece a "abstração faltante" necessária para isolar entradas não confiáveis, contexto privado e ações privilegiadas dentro da computação opaca de modelos autorregressivos, permitindo sistemas de agentes seguros e que preservam a utilidade.