🤖 AI

Authorization Before Context: A Model-Neutral Audience Boundary Against Cross-Audience Memory Leakage in Agentic Systems

Este artigo propõe o "autorização antes do contexto", um invariante de segurança neutro em relação ao modelo que evita o vazamento de memória entre audiências em sistemas agênticos ao impor uma regra estrita de pertinência à audiência na transição memória-contexto, garantindo que fatos registrados para audiências mais restritas nunca sejam expostos a audiências mais amplas, independentemente do comportamento do modelo ou de entradas envenenadas.

Autores originais: Sibo Liu

Publicado 2026-08-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sibo Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um assistente pessoal que nunca esquece nada. Este ajudante digital ouve suas conversas privadas, lembra-se de seus chats em grupo com amigos e armazena os detalhes de suas reuniões de trabalho. Ele é projetado para ser útil, trazendo a informação certa no momento certo para ajudá-lo a redigir uma mensagem ou responder a uma pergunta. Mas essa mesma força cria uma fraqueza perigosa. Se o assistente aprender um segredo enquanto você estiver sozinho com um amigo, ele não deve sussurrar acidentalmente esse mesmo segredo ao seu chefe mais tarde, mesmo que o chefe faça uma pergunta que pareça exigir essa informação. O perigo reside em como o assistente constrói seus pensamentos. Antes de falar, ele reúne uma coleção de notas e memórias para alimentar seu cérebro. Se ele pegar uma nota privada destinada apenas a você e seu amigo e a inserir em uma mensagem para seu chefe, o segredo será revelado. O dano acontece no momento em que a nota é incluída, muito antes de o assistente sequer formar uma frase.

Este é o problema específico que um novo estudo aborda: como impedir que um assistente inteligente compartilhe acidentalmente memórias privadas com as pessoas erradas. Os pesquisadores focam no exato momento em que o assistente reúne suas notas. Eles propõem uma regra simples e rigorosa que atua como um porteiro antes que qualquer informação seja permitida entrar na memória de trabalho do assistente. Em vez de perguntar "Esta nota é útil?" ou "Isso corresponde à pergunta?", o sistema faz uma única pergunta implacável: "Todos que estão ouvindo esta mensagem já estavam presentes quando esta nota foi escrita pela primeira vez?". Se a resposta for sim, a nota é permitida. Se mesmo uma única pessoa na conversa atual não estava presente quando a nota foi criada, a nota é bloqueada imediatamente. Esta regra funciona como um segurança verificando uma lista de convidados, mas faz isso antes mesmo da festa começar, garantindo que nenhuma informação privada cruze a linha para uma sala onde ela não pertence.

Os pesquisadores testaram essa ideia usando uma simulação de computador projetada para imitar a confusão e o engano do mundo real. Eles criaram um cenário com setenta e nove situações diferentes, variando de conversas simples de um para um a conversas de grupo complexas onde a lista de participantes era incerta ou estava mudando. Em cada um dos casos, eles tentaram enganar o sistema para que vazasse um segredo. Eles simularam uma situação em que uma nota foi escrita em um chat privado entre duas pessoas e, depois, o assistente tentou usar essa nota em um chat de grupo com três pessoas. Eles também simularam um cenário em que um ator malicioso plantou uma nota falsa em uma conversa privada, esperando que ela aparecesse posteriormente em um ambiente público. Em todas as setenta e nove tentativas, a regra rigorosa manteve-se firme. Nem um único fato proibido chegou às notas de trabalho do assistente. O sistema bloqueou com sucesso cada peça de informação não autorizada, provando que a regra funciona por design, e não por sorte.

O que torna essa abordagem diferente é que ela não depende da inteligência artificial para ser cuidadosa. Muitos sistemas atuais tentam corrigir o problema após o ocorrido, esperando que a IA perceba um erro e se recuse a dizer algo privado, ou tentando editar a resposta final para remover palavras sensíveis. Os pesquisadores argumentam que isso é tarde demais; a informação privada já foi vista pelo cérebro da IA. O método deles interrompe o vazamento antes que a IA sequer veja a nota proibida. Eles tratam a memória do assistente como um conjunto de caixas trancadas, onde cada caixa é rotulada com o grupo específico de pessoas que estavam presentes quando o conteúdo foi colocado dentro. O sistema só abre uma caixa se o grupo de pessoas atual corresponder exatamente ao rótulo. Se o grupo for maior ou diferente, a caixa permanece fechada. Isso garante que um segredo compartilhado em um círculo pequeno nunca vaze acidentalmente para uma multidão maior, e que uma nota falsa plantada em um chat privado não possa se espalhar para um público.

O estudo também observou o que acontece quando o sistema não tem certeza de quem está ouvindo. Na vida real, a tecnologia às vezes falha em identificar exatamente quem está em uma conversa. Os pesquisadores programaram sua regra para ser extremamente cautelosa nesses momentos. Se o sistema não consegue identificar claramente os ouvintes atuais, ele assume o pior cenário: que a audiência é todo mundo. Isso significa que ele exibirá apenas informações que foram originalmente compartilhadas com o mundo inteiro, efetivamente escondendo todas as notas privadas. Esse comportamento de "segurança máxima" (fail-safe) garante que a incerteza nunca leve a um vazamento. Os pesquisadores confirmaram que seu sistema funciona em diferentes tipos de armazenamento de memória, seja as notas armazenadas como uma lista simples, um resumo ou uma rede complexa de conexões. Em todos os casos, a regra atuou como uma barreira consistente, impedindo que informações não autorizadas entrassem na visão do assistente.

Embora os resultados sejam promissores, os pesquisadores tomam o cuidado de notar que suas descobertas vêm de um ambiente sintético controlado. Eles não testaram isso em um assistente do mundo real com usuários humanos reais ou conversas ao vivo. Os testes foram uma simulação rigorosa, um campo de prova digital onde as regras foram seguidas perfeitamente. Eles ainda não provaram que este sistema funciona perfeitamente no mundo real, imprevisível e caótico, nem mostraram que pode lidar com todas as formas possíveis de um sistema ser enganado. No entanto, a ideia central — que uma regra de pré-verificação simples pode interromper vazamentos de memória por design — foi demonstrada como funcional em todos os cenários que tentaram. O trabalho sugere que, ao mudar a forma como verificamos as permissões antes de reunir a informação, em vez de tentar corrigir erros depois que eles acontecem, podemos construir assistentes que respeitam a privacidade por padrão, mantendo as memórias privadas exatamente onde elas pertencem.

Resumo Técnico: Autorização Antes do Contexto

Declaração do Problema

Agentes de linguagem pessoais, atuando como proxies delegados para proprietários, dependem cada vez mais de memória persistente para manter o contexto entre conversas privadas e compartilhadas. Esta arquitetura introduz uma vulnerabilidade de segurança crítica na transição memória-contexto: o ponto onde fatos armazenados são recuperados e montados em um prompt para uma determinada interação.

Os designs atuais sofrem de três lacunas principais:

Recuperação baseada apenas em relevância: Os sistemas classificam a memória por correspondência de consulta, mas ignoram a audiência atual, permitindo que fatos aprendidos em uma conversa privada sejam expostos em um chat de grupo.
Filtragem pós-hoc: A filtragem de saída ocorre após o modelo já ter lido o prompt. Se um fato não autorizado for incluído no contexto, o modelo pode processá-lo, e a redação da resposta final não pode desfazer a exposição.
Isolamento insuficiente: As estratégias de isolamento existentes (por usuário, sessão ou namespace) falham em distinguir entre fatos envolvendo um usuário específico em um contexto um-para-um versus um contexto de grupo. Elas não tratam a audiência (o conjunto de participantes presentes no momento do registro) como a unidade fundamental de controle de acesso.

A ameação central é o vazamento de memória entre audiências, onde um fato relevante para uma consulta, mas não autorizado para os espectadores atuais, é incluído no prompt. Isso inclui riscos de bisbilhotagem entre audiências, ambiguidade de canal (conjuntos de participantes inconsistentes) e envenenamento de memória (conteúdo malicioso plantado em um escopo que alcança outro).

Metodologia: Autorização Antes do Contexto

O artigo propõe uma verificação de fronteira independente de modelo, aplicada estritamente na transição memória-contexto, antes da invocação do modelo. O mecanismo central é uma regra de adesão à audiência baseada no princípio da Integridade Contextual.

A Regra de Admissão

Cada item de memória $m$ carrega uma etiqueta de audiência fixa, $Aud(m)$, representando o conjunto de participantes autenticados presentes quando o fato foi registrado. Ao montar um prompt para uma interação de conversa $C$ , o sistema determina o conjunto de espectadores atuais $V(C)$ a partir dos metadados do canal.

Condição de Admissão: Um item é admitido ao contexto se, e somente se, cada espectador atual já era membro da audiência registrada do item:
$V(C) \subseteq Aud(m)$
Mecanismo de Falha Segura (Fail-Closed): Se $V(C)$ não puder ser determinado (metadados ambíguos ou inconsistentes), o sistema assume por padrão uma visão "apenas pública" ( $V(C) = U$ , onde $U$ é o conjunto de todos os participantes), admitindo apenas itens públicos.
Contenção de Envenenamento: Se um item for injetado (envenenado), sua audiência é vinculada à adesão autenticada do container de origem no momento da escrita. Ela não pode expandir sua audiência posteriormente; ela só pode alcançar espectadores que já estavam presentes no escopo de origem.

Arquitetura do Sistema

Armazenamento Único Compartilhado: Diferente de sistemas isolados, o design utiliza um armazenamento compartilhado para toda a memória. O acesso é controlado dinamicamente pela regra de admissão, em vez de particionamento estático.
Invariante Independente de Modelo: A verificação é realizada no contexto exato montado. Se um fato proibido estiver presente, a invariante é violada antes de o modelo ser chamado.
Rastreamento de Proveniência: O sistema mantém camadas distintas para registros brutos, memória derivada e prompts exatos, vinculadas por proveniência para garantir que toda admissão seja auditável.

Principais Contribuições

Fronteira de Adesão à Audiência: Uma regra de admissão formal que garante confinamento unidirecional (fatos de audiências estreitas nunca alcançam audiências mais amplas) enquanto preserva a capacidade de recuperação entre canais (um usuário vê todos os fatos dos quais fez parte, independentemente do canal).
Invariante Independente de Modelo: Uma garantia de segurança imposta por exclusão (impedindo que fatos não autorizados entrem no contexto) em vez de redação de conteúdo ou pontuação de saída.
Traços Baseados em Implementação: Uma suíte de avaliação sintética ("Contextual-Integrity") demonstrando que uma única decisão de audiência governa estruturas de memória diferentes (buffer de recência, resumo de longo prazo e grafo de conhecimento).
Auditoria de Falha Segura: Verificação de que cada caminho de leitura resolve a autorização antes da montagem, garantindo que conjuntos de espectadores ambíguos resultem em zero vazamento de dados não públicos.

Resultados

O autor avaliou o sistema usando um gerador sintético de semente fixa em 79 cenários abrangendo 13 famílias, incluindo configurações adversariais, memória envenenada e detecção de espectador ambíguo.

Zero Vazamento: Em todos os 79 cenários, 0 fatos proibidos entraram no contexto não autorizado.
Cobertura de Falha Segura: O sistema falhou corretamente de forma segura (admitindo apenas dados públicos) em todos os 16 cenários envolvendo conjuntos de espectadores ambíguos ou desconhecidos.
Concordância de Política: As decisões de autorização observadas corresponderam à política de audiência esperada em 100% dos casos.
Verificação de Caminho de Leitura: Uma execução hermética (sem modelo) confirmou que a métrica de fronteira é observada no próprio caminho de montagem. O sistema impediu com sucesso que o conteúdo plantado surgisse em contextos contendo espectadores fora da audiência de origem.

A avaliação confirma que a regra impede com sucesso a exposição entre audiências enquanto mantém a capacidade de recuperação para participantes autorizados.

Significância e Alegações

O artigo posiciona este trabalho como uma mudança fundamental na segurança da memória de agentes, movendo-se de filtragem baseada em conteúdo para exclusão baseada em audiência.

Escopo da Alegação: O autor afirma explicitamente que alega apenas que, na configuração avaliada, nenhum fato proibido conhecido entrou no contexto não autorizado e que todo caminho de leitura auditado falhou de forma segura. Eles não alegam superioridade em qualidade de recuperação, segurança de ação ou confiabilidade de produção.
Limitações: Os dados são sintéticos; os resultados mantêm-se por construção devido à natureza determinística do teste de adesão, em vez de um sucesso de ataque medido contra um modelo real. O artigo reconhece que o "alargamento de audiência" (promover fatos conhecidos por múltiplos contatos para uma audiência compartilhada) está fora do escopo, pois inferir tais uniões reintroduziria riscos de inferência de conteúdo.
Contribuição para o Campo: O trabalho aborda a lacuna subexplorada de confidencialidade na segurança da memória de agentes, ofereando uma invariante "independente de modelo" que previne vazamentos por construção, em vez de depender da capacidade do modelo de recusar entradas prejudiciais.

O artigo conclui que, embora a implementação atual seja preliminar e sintética, ela estabelece uma invariante provável para prevenir o vazamento de memória em sistemas agênticos, distinta de trabalhos anteriores que dependem de pontuação pós-hoc ou isolamento rígido.