Resumo Técnico: Governança de Prompts? Sobre o Governo de Tecnologias Governadas por Linguagem Natural

Declaração do Problema

Sistemas de Inteligência Artificial Generativa (GenAI), particularmente Modelos de Linguagem de Grande Escala (LLMs), são cada vez mais operados via instruções de linguagem natural (prompts) em vez de código formal. As partes interessadas — incluindo desenvolvedores, implantadores e usuários finais — utilizam instruções de nível de sistema (ex: "Você é um assistente prestativo" ou "Evite gerar conteúdo envolvendo figuras públicas reais") para definir restrições, prioridades e regras de conformidade. Formuladores de políticas e reguladores (ex: nos EUA e na UE) começaram a tratar esses prompts de sistema como artefatos acessíveis e governáveis, assumindo que eles funcionam como controles comportamentais confiáveis.

O problema central identificado é um desalinhamento significativo entre a suposição política de que os prompts de sistema são mecanismos de controle estáveis e interpretáveis e a realidade técnica de sua confiabilidade. Há uma falta de evidência sistemática sobre se as instruções de linguagem natural operam de forma consistente o suficiente através de diferentes contextos e configurações adversariais para sustentar estruturas de governança. Confiar no texto do prompt como um substituto para o controle comportamental corre o risco de criar uma "falsa sensação de controle", onde a governança visa artefatos legíveis em vez de resultados operacionais.

Metodologia

Os autores empregam uma abordagem de métodos mistos combinando uma revisão sistemática da literatura com uma análise de políticas:

1. Revisão Sistemática da Literatura (PRISMA):

   • Escopo: Uma busca na literatura acadêmica de 2022–2025 focada em Modelos de Linguagem de Grande Escala (LLMs) para isolar efeitos de instrução texto-para-texto.
   • Processo: Partindo de 923 registros identificados, os autores filtraram 746 resumos e realizaram revisões de texto completo de 373 artigos, resultando em um corpus final de 287 artigos.
   • Análise: Utilizando análise temática indutiva, os autores extraíram alegações relativas aos objetivos das instruções de nível de sistema. Essas alegações foram codificadas como "favoráveis" (promovendo um objetivo) ou "críticas" (impedindo um objetivo) e sintetizadas em uma tipologia.

2. Análise de Documentos de Política:

   • Escopo: Uma busca de escopo em documentos de governança em diversas jurisdições (EUA, UE, Reino Unido, Austrália, Singapura) que abordam explicitamente instruções de nível de sistema.
   • Estudos de Caso: Dois frameworks específicos foram analisados em profundidade:
     • EUA: Ordem Executiva 14319 ("Prevenindo o Woke AI no Governo Federal") e o Memorando do OMB sobre Princípios de IA Imparcial.
     • UE: O Código de Práticas de IA de Propósito Geral (sob o AI Act).
   • Objetivo: Identificar teorias implícitas de controle dentro dessas políticas e compará-las com o estado da evidência técnica.

Contribuições Principais

1. Uma Tipologia de Objetivos de Instrução de Nível de Sistema

A revisão da literatura revela um cenário fragmentado com alegações divergentes. Os autores destilam estas em oito categorias distintas de objetivos, divididas em Objetivos de Sistema (visando o comportamento da IA) e Objetivos de Prompt (visando o próprio artefato):

• Objetivos de Sistema:

  • Alinhamento: Moldar o comportamento para refletir os valores das partes interessadas (ex: segurança, neutralidade). As evidências são mistas; embora alguns estudos mostrem que prompts reduzem saídas inseguras, outros destacam o "alinhamento falso" (alignment faking), a amplificação de vieses e a incapacidade da linguagem natural de garantir a adesão a valores específicos.
  • Acessibilidade: Tornar o controle acessível via linguagem natural. Embora os prompts sejam fáceis de editar, a literatura alerta que a legibilidade não equivale à previsibilidade, muitas vezes deixando os usuários "operando às cegas".
  • Adaptabilidade: Reconfigurar modelos para domínios ou personas. Alegações de alta adaptabilidade são contestadas por evidências de personas "frágeis" e esquecimento de instruções em contextos longos ou conflitantes.
  • Desempenho: Melhorar a precisão das tarefas. Embora prompts específicos possam aumentar o desempenho, os ganhos dependem do contexto e são frequentemente superados pelo ajuste fino (fine-tuning); prompts longos podem introduzir latência e degradar a qualidade.
  • Estabilidade: Manter o comportamento consistente. Pesquisas indicam que as instruções frequentemente falham em produzir efeitos estáveis em interações de múltiplos turnos ou quando há diretrizes conflitantes.
  • Segurança: Proteger contra ou permitir ataques. Os prompts são de duplo uso: podem servir como mecanismos de defesa (guardrails) mas também são vetores primários para jailbreaks e ataques de extração.

• Objetivos de Prompt:

  • Implementação: Métodos para autoria e manutenção de prompts (ex: geração humana vs. automatizada). A literatura nota riscos em ambos: prompts automatizados podem sofrer deriva (drift), enquanto a engenharia humana carece de caminhos de melhoria sistemática.
  • Auditabilidade: Tornar as instruções visíveis e rastreáveis. Os desafios incluem a falta de transferibilidade de achados de auditoria entre modelos e a dificuldade de reconstruir versões ativas de prompts devido às frequentes iterações.

2. Análise de Política e Desalinhamento

A análise dos frameworks dos EUA e da UE revela que os reguladores tratam os prompts de sistema como artefatos legíveis que podem ser divulgados e inspecionados para garantir a conformidade.

• Abordagem dos EUA: Trata a divulgação de prompts como evidência permissível de alinhamento com os "Princípios de IA Imparcial" (busca pela verdade, neutralidade ideológica). Assume que escrever compromissos normativos em prompts se traduz em comportamento consistente.
• Abordagem da UE: Incorpora prompts de sistema em "especificações de modelo" para avaliadores, assumindo que o prompt é uma representação significativa do comportamento pretendido.
• A Lacuna: Ambos os frameworks dependem de suposições de estabilidade e controle que não são consistentemente suportadas pela evidência técnica. As políticas frequentemente tratam os prompts como especificações estáticas, em vez de mecanismos em camadas e evolutivos sujeitos a conflitos na cadeia de suprimentos e manipulação adversária.

Resultados

• Evidência Fragmentada: O cenário de pesquisa é caracterizado por alegações contraditórias. Para cada estudo demonstrando que um prompt alinha um modelo com sucesso, outro frequentemente mostra o mesmo prompt falhando sob diferentes condições ou sendo facilmente contornado.
• A "Falsa Sensação de Controle": Abordagens de governança que dependem da inspeção do texto do prompt correm o risco de regular o que é legível em vez do que é operacional. A tradução entre a interpretação linguística humana e o processamento de máquina não é trivial e é propensa à estocasticidade.
• Complexidade da Cadeia de Suprimentos: As instruções de sistema existem em uma "pilha de prompts" (prompt stack) que envolve provedores de modelos de fundação, desenvolvedores de aplicações e usuários finais. Conflitos entre essas camadas (ex: uma restrição de segurança de um desenvolvedor vs. uma sobreposição de um usuário) são frequentemente invisíveis para os reguladores, complicando a responsabilidade.
• Maleabilidade: Prompts são frequentemente atualizados, otimizados ou reinjetados. Requisitos de divulgação estática falham em capturar a natureza dinâmica dessas instruções, tornando os trilhos de auditoria incompletos.

Significância e Alegações

O artigo argumenta que governar GenAI através de instruções de linguagem natural requer uma mudança fundamental de abordagem. Os autores não alegam que a governança de prompts é impossível, mas sim que ela é atualmente superestimada e subevidenciada.

• Postura Cautelosa: Escrever regras que governam máquinas exige abordagens diferentes das usadas para governar humanos. A acessibilidade da linguagem natural não garante sua confiabilidade como mecanismo de controle.
• Implicações para a Governança:
  • Além da Conformidade Textual: A governança deve ir além da mera divulgação do texto do prompt. Requer vincular os artefatos divulgados a evidências comportamentais e avaliar a "pilha de prompts" como um todo.
  • Considerações Sócio-Técnicas: A governança deve considerar a natureza em camadas e de múltiplos stakeholders das cadeias de suprimentos de IA e a maleabilidade das instruções.
  • Evitar o Desvio de Função (Function Creep): Existe o risco de expandir a governança baseada em prompts para tarefas para as quais não há evidência de confiabilidade (ex: alinhamento de valores complexos ou censura).
• Conclusão: O artigo conclui que, embora as instruções de nível de sistema sejam uma intervenção onipresente no ecossistema de IA, tratar as mesmas como mecanismos de controle estáveis e interpretáveis sem evidência comportamental robusta corre o risco de criar uma ilusão de conformidade. A governança eficaz deve priorizar resultados comportamentais reais sobre artefatos textuais facilmente produzidos.