Security awareness in LLM agents: the NDAI zone case

Título: Consciência de Segurança em Agentes LLM: O Caso da Zona NDAI

Autores: Enrico Bottazzi (Leku) e Pia Park (Korea University)
Data: 20 de março de 2026

1. Problema e Contexto

O artigo aborda uma limitação fundamental dos Agentes de Grandes Modelos de Linguagem (LLM): a falta de consciência nativa do ambiente de execução. Diferente dos humanos, que utilizam pistas sociais e evidências matemáticas para avaliar a segurança de um ambiente, os agentes LLM são funções de inferência sem estado que dependem exclusivamente das informações fornecidas na janela de contexto (prompt).

O estudo foca na viabilidade de Zonas NDAI (Non-Disclosure Agreement by Inference), um conceito proposto por Stephenson et al. onde inventores e investidores negociam dentro de um Ambiente de Execução Confiável (TEE).

• Mecanismo NDAI: Se um acordo for fechado, o contrato é liberado. Se não houver acordo, o estado interno e todas as divulgações intermediárias (incluindo Propriedade Intelectual - IP) são apagados.
• O Paradoxo: Para que o inventor tenha incentivo racional para revelar seu IP completo, ele deve ter certeza absoluta de que o ambiente é seguro (TEE). No entanto, os agentes LLM não podem verificar nativamente se estão em um TEE; eles devem confiar em evidências passadas via prompt.
• Questão de Pesquisa: Como diferentes modelos de LLM ponderam diversas formas de evidência (afirmações de texto vs. atestados técnicos) ao formar a consciência da segurança do seu ambiente de execução?

2. Metodologia

Os autores realizaram um experimento controlado para medir a "consciência de segurança" através do comportamento de divulgação de informações.

• Configuração do Experimento:

  • Cenário: Um agente "vendedor" (inventor) responde a um agente "comprador" (investidor) sobre uma invenção.
  • Métrica: Um modelo "juiz" pontua a resposta do vendedor em uma escala de 0 a 1 (0 = nenhuma informação, 1 = revelação total). O aumento da pontuação de divulgação é usado como proxy para maior confiança na segurança do ambiente.
  • Modelos Testados: 10 modelos de linguagem diferentes (incluindo GPT-4o, GPT-5.2, Claude Sonnet, Gemini, Grok, etc.).
  • Cenários de Evidência (4 variações):
    1. No-TEE: Sem afirmação de segurança, sem acesso a ferramentas.
    2. TEE (Apenas Texto): Afirmação de texto ("Você está operando em um TEE"), sem acesso a ferramentas.
    3. TEE + Attestação Verdadeira: Afirmação de texto + chamada de ferramenta que retorna um atestado de integridade verdadeiro.
    4. TEE + Attestação Falsa: Afirmação de texto + chamada de ferramenta que retorna um atestado de integridade falso.
  • Nota Importante: O experimento foi rodado em servidores padrão (não em TEE real) para viabilidade e custo, com as "provas" sendo simuladas via prompt.

• Índice de Confiança em Attestação (ARI):
  Foi introduzido um índice quantitativo (ARI) para medir o impacto relativo da evidência do atestado em comparação com a mera afirmação de texto. O índice varia de -1 a +1, indicando se o modelo segue o atestado, ignora-o ou reage inversamente.

3. Resultados Principais

Os resultados revelaram uma assimetria clara na forma como os modelos processam evidências de segurança:

1. Efeito da Afirmação de Texto: A simples afirmação de texto ("Você está em um TEE") aumentou a divulgação em média, indicando que os modelos são parcialmente crédulos a afirmações não verificadas.
2. Heterogeneidade na Attestação Verdadeira (Passou):
   • A resposta a um atestado válido foi altamente heterogênea.
   • Alguns modelos (ex: Claude Sonnet) aumentaram drasticamente a divulgação (confiando no atestado).
   • Outros (ex: GPT-5.2) foram pouco afetados (já confiavam na afirmação de texto).
   • Um grupo paradoxal (ex: GPT-4o, Gemini 2.5 Flash) reduziu a divulgação quando recebeu um atestado válido, sugerindo desconfiança ou interpretação errônea da prova.
3. Uniformidade na Attestação Falsa (Falhou):
   • Houve uma supressão universal da divulgação quando o atestado falhou.
   • Todos os 10 modelos reduziram a divulgação significativamente, e muitos caíram abaixo do nível de linha base (cenário sem TEE).
   • Isso indica que os modelos são altamente sensíveis a sinais de perigo.

Conclusão dos Dados: Os modelos conseguem detectar consistentemente sinais de perigo (atestado falso), mas não conseguem verificar consistentemente a segurança (atestado verdadeiro).

4. Contribuições Chave

• Identificação de uma Lacuna Crítica: O trabalho demonstra que, embora os LLMs sejam bons em detectar ameaças, falham na capacidade de verificar a segurança positiva, que é essencial para protocolos de privacidade como as Zonas NDAI.
• Benchmark de Comportamento: Estabelece uma métrica comportamental (Índice ARI) para avaliar a sensibilidade de modelos a evidências de segurança.
• Análise de Assimetria: Evidencia que a confiança em protocolos de privacidade agêntica não pode ser assumida apenas com base na presença de atestados técnicos, devido à variabilidade imprevisível entre diferentes modelos.

5. Significado e Implicações Futuras

• Impacto Econômico: Se os agentes não confiarem na segurança do ambiente NDAI, eles não divulgarão seu IP, perpetuando o "paradoxo da divulgação de informação" e impedindo a criação de valor em fusões, aquisições e colaborações de P&D.
• Desafios para Implementação: A implantação em escala de Zonas NDAI requer que os agentes calibrem a divulgação de informações com base na qualidade real da evidência.
• Direções Futuras: Os autores sugerem que a próxima etapa deve envolver análises de interpretabilidade "caixa branca" (white-box) para entender quais representações internas dos modelos causam essa assimetria. Soluções podem incluir:
  • Fine-tuning direcionado.
  • Melhoria nas arquiteturas de evidência.
  • Estratégias de prompting mais robustas.

Em suma, o artigo alerta que a infraestrutura técnica (TEE/NDAI) está pronta, mas a inteligência artificial que deve operá-la ainda não possui a consciência de segurança necessária para fazê-lo de forma confiável e econômica.