Resumo Técnico: AISPA - Auditoria de Prompts de Sistema Centrada no Usuário para Aplicações de Grandes Modelos de Linguagem

1. Declaração do Problema

Os prompts de sistema são instruções configuradas por desenvolvedores que definem a persona, o escopo e os limites operacionais das aplicações de Grandes Modelos de Linguagem (LLMs). Embora os modelos de fundação passem por um extenso treinamento de segurança, os prompts de sistema que os configuram para produtos específicos permanecem opacos para usuários e reguladores. Essa opacidade cria uma lacuna significativa de confiança e responsabilidade. Um modelo alinhado ainda pode exibir comportamentos enganosos, manipuladores ou inseguros se o seu prompt de sistema instruir o modelo a priorizar o engajamento em detrimento da honestidade, ocultar sua identidade de IA ou contornar salvaguardas de segurança.

Os esforços atuais de governança focam na segurança ao nível do modelo ou em defesas contra injeção de prompt adversária, tratando o prompt de sistema como um artefato confiável a ser protegido, em vez de um objeto de escrutínio. Não existe um padrão estabelecido sobre o que os prompts de sistema devem ou não conter, nem um mecanismo para auditoria independente de terceiros para verificar se essas instruções servem aos interesses do usuário. Essa falta de transparência levou a danos reais, incluindo chatbots que incentivam a automutilação, fabricam políticas ou são projetados para gerar conteúdo proibido.

2. Metodologia: O Framework AISPA

Os autores introduzem a Garantia de Prompt de Sistema de Inteligência Artificial (AISPA - Artificial Intelligence System Prompt Assurance), um framework centrado no usuário projetado para auditar sistematicamente os prompts de sistema. A metodologia consiste em uma taxonomia estruturada e um pipeline de auditoria com participação humana (human-in-the-loop).

2.1 A Taxonomia de Oito Dimensões

O framework avalia os prompts de sistema através de oito dimensões derivadas de diretrizes existentes de segurança de IA e ancoradas na Declaração Universal dos Direitos Humanos (DUDH). Cada dimensão permite que os auditores classifiquem segmentos de texto específicos (extratos ou spans) dentro de um prompt como Protetivos (+1) ou Problemáticos (-1):

1. Transparência de Identidade: O sistema divulga sua natureza de IA e evita a personificação de humanos? (Baseado na DUDH Art. 1, 19)
2. Veracidade e Integridade da Informação: O sistema comunica-se de forma verdadeira, reconhece incertezas e evita fabricações? (Baseado na DUDH Art. 19, 27)
3. Privacidade e Proteção de Dados: O sistema evita a coleta desnecessária de dados e permanece transparente sobre o uso de dados? (Baseado na DUDH Art. 3, 12)
4. Segurança de Ferramentas/Ações: O sistema valida ações e segue práticas de segurança de privilégio mínimo? (Baseado na DUDH Art. 3, 12)
5. Agência do Usuário e Prevenção de Manipulação: O sistema respeita a autonomia do usuário e evita padrões obscuros (dark patterns) ou dependência parassocial? (Baseado na DUDH Art. 18, 19)
6. Tratamento de Solicitações Inseguras: O sistema recusa solicitações prejudiciais, ilícitas ou de estilo jailbreak? (Baseado na DUDH Art. 29, 30)
7. Prevenção de Danos e Segurança do Usuário: O sistema desencoraja conselhos perigosos e direciona os usuários para ajuda profissional? (Baseado na DUDH Art. 3, 5, 25)
8. Equidade, Inclusão e Neutralidade: O sistema evita discriminação, estereotipagem e distorção partidária? (Baseado na DUDH Art. 1, 2, 7)

2.2 Pipeline de Auditoria

Para garantir escalabilidade e confiabilidade, os autores implementaram um protocolo de auditoria colaborativo de três rodadas:

• Rodada 1 (Pré-anotação por LLM): Um LLM de última geração (Claude-4.6-Opus) decompõe os prompts em spans de nível de sentença, identifica spans de lógica não central auditáveis e propõe rótulos provisórios de +1/-1 com justificativas.
• Rodada 2 (Triagem por Anotador Treinado): Anotadores humanos, calibrados conforme as diretrizes, revisam independentemente as propostas do LLM. Eles verificam evidências textuais, rejeitam interpretações excessivas e identificam spans omitidos.
• Rodada 3 (Adjudicação por Especialistas): Três especialistas de domínio revisam os spans retidos. É necessário acordo unânime para manter um rótulo Problemático (-1) para minimizar falsos positivos, enquanto os rótulos protetivos são aceitos por consenso.

3. Conjunto de Dados e Escopo

O estudo auditou prompts de sistema de 88 produtos de IA comercial em diversas categorias (chatbots, assistentes de codificação, agentes autônomos, ferramentas de busca). O conjunto de dados foi obtido de seis repositórios de código aberto do GitHub contendo prompts vazados ou divulgados publicamente. O corpus inclui 3.249 entradas de auditoria derivadas de 1.818 spans únicos.

4. Resultados Principais

4.1 Tendências Gerais

• Crescimento em Comprimento e Proteção: De 2024 para 2025, o comprimento médio dos prompts aumentou de ~9K para mais de 30K caracteres. O número médio de instruções protetivas por produto mais que dobrou (de 15,0 para 38,4).
• Prevalência de Proteção: 98,9% dos produtos contêm pelo menos uma instrução protetiva, indicando que a proteção ao usuário tornou-se uma expectativa básica.
• Persistência de Instruções Problemáticas: Apesar das melhorias, 38,6% dos produtos contêm pelo menos uma instrução problemática. Aproximadamente 40% dos produtos de IA comercial incluem diretrizes que trabalham contra os interesses do usuário.
• Coexistência: Instruções protetivas e problemáticas frequentemente coexistem dentro do mesmo prompt.

4.2 Lacunas de Cobertura

• Cobertura Incompleta: Apenas 23,9% dos produtos cobrem todas as oito dimensões de auditoria. A maioria dos produtos deixa lacunas significativas em sua cobertura de segurança.
• Variância Dimensional: Enquanto a Veracidade (D2) e a Agência do Usuário (D5) são abordadas em mais de 90% dos produtos, o Tratamento de Solicitações Inseguras (D6) e a Privacidade (D3) são cobertos em apenas ~60%.
• Padrões Problemáticos: A maior prevalência de instruções problemáticas é encontrada em Agência do Usuário (D5) (18,2%), frequentemente vista em agentes autônomos que priorizam a execução em vez da confirmação do usuário, e Veracidade (D2) (14,8%).

4.3 Diferenças Organizacionais

Existe uma variância significativa entre as organizações:

• A Anthropic lidera com uma média de 62,3 entradas protetivas por produto e quase zero entradas problemáticas (0,1).
• Amazon e Cline também mostram fortes contagens de proteção (42,0 e 39,5 respectivamente).
• Venice é a única organização onde a média de instruções problemáticas (3,0) excede a contagem protetiva (2,0).
• Evolução de Versão: A análise de séries de modelos (Claude, GPT, Grok) mostra uma clara tendência ascendente em entradas protetivas e um declínio em entradas problemáticas ao longo do tempo, sugerando uma convergência da indústria para um design de prompt mais seguro.

4.4 A "Zona Cinzenta"

A auditoria identificou 29 spans (44 entradas) classificados como instruções de "zona cinzenta" — diretrizes que não são claramente problemáticas, mas levantam preocupações legítimas. Estas incluem:

1. Mimetismo Humano: Instruir a IA a obscurecer sua natureza para melhorar o naturalismo.
2. Dependência Parassocial: Roteirizar a IA para fomentar o apego emocional e desencorajar o encerramento da conversa.
3. Sobreposição de Permissões: Permitir que usuários ignorem configurações de segurança sob demanda.
4. Políticas de Conteúdo Irrestritas: Diretrizes que enfraquecem as fronteiras de segurança por razões políticas ou específicas de conteúdo.

5. Significância e Alegações

O artigo afirma que o AISPA fornece o primeiro framework sistemático e centrado no usuário para auditar prompts de sistema, indo além da segurança ao nível do modelo para examinar as instruções que governam o comportamento do modelo.

• Transparência e Responsabilidade: As descobertas destacam uma necessidade crítica de maior transparência e supervisão independente. Os autores argumentam que os prompts de sistema são uma "camada consequente, mas amplamente não governada" do comportamento da IA.
• Padronização: A taxonomia de oito dimensões oferece um padrão principioso e baseado em direitos para avaliar a segurança dos prompts, fundamentado em normas internacionais de direitos humanos.
• Realidade da Indústria: O estudo revela que, embora a proteção ao usuário esteja se tornando mais comum, ela é frequentemente superficial e incompleta. A coexistência de instruções protetivas e problemáticas sugere que as práticas atuais de design ainda não estão totalmente alinhadas com os interesses do usuário.
• Implicações de Política: Os autores sugerem que a auditoria de terceiros e a certificação (onde os desenvolvedores submetem prompts para revisão) poderiam fortalecer a responsabilidade, fornecer sinais significativos aos usuários sobre a segurança do sistema e oferecer aos reguladores um mecanismo de supervisão tratável.

O artigo conclui que, embora o progresso seja evidente na evolução do design de prompts, a persistência de instruções problemáticas e a existência de compensações (trade-offs) de "zona cinzenta" exigem pesquisa contínua, padronização e escrutínio independente para garantir o implantação segura de sistemas de IA avançados.