Resumo Técnico: Prompts para LLMs no Setor Público Devem Ser Governados como Comuns

1. Declaração do Problema

Instituições públicas estão implementando cada vez mais Grandes Modelos de Linguagem (LLMs) para tarefas administrativas, como redação, sumarização e triagem de serviços. Nesses contextos, os prompts funcionam não apenas como entradas transitórias, mas como uma "camada de política" configurável que codifica instruções de papel, enquadramentos de decisão e reivindicações de valores. O artigo argumenta que as estruturas de governança atuais são insuficientes porque focam em artefatos a montante (pesos do modelo, dados de treinamento) e no alinhamento a jusante (restrições pós-treinamento), enquanto deixam opaca a coleção específica de prompts utilizada na implantação.

Consequentemente, as escolhas de prompts circulam frequentemente de forma informal entre equipes e fornecedores sem revisão formal. Quando um único prompt se torna o padrão, suas suposições incorporadas são frequentemente confundidas com propriedades inerentes do modelo ou decisões de política fixas, tornando-as incontestáveis e não auditáveis. Essa falta de transparência impede que as instituições públicas gerenciem compensações de valores locais ou responsabilizem as partes interessadas por configurações de implantação específicas.

2. Solução Proposta: Prompt Commons (Comum de Prompts)

Os autores propõem o Prompt Commons, uma estrutura de governança que trata modelos de prompts como "artefatos governados" mantidos em um repositório gerido pela comunidade. Esta abordagem adapta princípios de governança de bens comuns digitais (Ostrom, 1990) e práticas de código aberto à camada de prompt.

Elementos Centrais de Design

• Estrutura do Repositório: Os prompts são armazenados como texto simples com identificadores de versão. Cada entrada inclui metadados de proveniência (grupos de autores, localidade, reivindicações de valor pretendidas, níveis de consentimento) e um registro de alterações auditável.
• Estados de Governança: A estrutura define três estados aplicáveis para lançamentos de prompts:
  1. Aberto (Open): Qualquer colaborador autenticado pode propor prompts; a moderação é limitada a spam e verificações de segurança.
  2. Curado (Curated): As fusões exigem revisão de mantenedores, completude de metadados e adesão a restrições de inclusão (ex: cobertura mínima entre grupos demográficos).
  3. Com Veto Habilitado (Veto-Enabled): Organizações representativas podem sinalizar prompts como prejudiciais, acionando um mecanismo de "quarentena" que bloqueia o lançamento até que uma revisão e resolução (aceitar, modificar ou rejeitar) seja registrada em um intervalo de tempo determinado.
• Agregação Orientada à Negociação: Em vez de colapsar o desacordo em um único prompt, o sistema trata os prompts como propostas de partes interessadas. Um prompt de agregação explícito instrui o modelo a identificar suposições compartilhadas, evidenciar desacordos e propor instruções de compromisso ou alternativas classificadas.
• Licenciamento: Os prompts estão sujeitos a licenciamento (ex: Creative Commons ou OpenRAIL) para governar o reuso, atribuição e obras derivadas entre agências e fornecedores.

3. Metodologia: Testbed Piloto

Para ilustrar a viabilidade desta estrutura, os autores conduziram um estudo piloto envolvendo parceiros comunitários de uma grande cidade da América do Norte, incluindo organizações de apoio a imigrantes, serviços para idosos, apoio a pessoas com deficiência e organizações LGBTQ+.

• Coleta de Dados: Os participantes elaboraram 443 prompts humanos descrevendo cenas urbanas e valores. Estes foram aumentados para 3.317 prompts via deduplicação, paráfrase preservadora de valor e expansão de cenários.
• Configuração Experimental: O estudo utilizou um LLM de chat com ajuste de instrução fixo (temperatura 0, top-p 1) e um benchmark de 50 vinhetas envolvendo trocas (trade-offs) de paisagem urbana e espaço público.
• Métodos de Comparação: Cinco métodos foram avaliados:
  • M0: Baseline de autor único.
  • M1: Prompt amostrado de um comum aberto.
  • M2: Prompts amostrados de um comum curado (restrições de inclusão).
  • M3: Prompts curados com mecanismos de veto e quarentena.
  • M4: Uma amostragem de ensemble orientada à negociação, selecionando 6 prompts estratificados por grupo de autor, agregados via instrução versionada para propor compromissos.
• Métricas:
  • Distribuição de Saída: Proporções de rótulos "fluxo de veículos", "transporte ativo" e "misto/compromisso".
  • Satisfação de Subgrupos: Avaliações cegas (escala de 1–7) de 12 avaliadores de seis grupos demográficos.
  • Segurança Operacional: Tempo para remediação de saídas sintéticas prejudiciais sob diferentes fluxos de governança.

4. Principais Resultados

Os resultados do piloto foram apresentados como estatísticas descritivas para ilustrar os efeitos potenciais das escolhas de governança, não como alegações causais generalizáveis.

• Distribuição de Saída: A baseline de autor único (M0) produziu 24% de saídas "mistas ou de compromisso". Através dos estados de governança do comum (M1–M3), essa taxa aumentou para 48–52%, indicando que a governança de prompts pode alterar distribuições de saída observáveis mesmo com modelos e entradas fixos.
• Satisfação de Subgrupos: A pontuação média de aceitabilidade aumentou de 4,35 (M0) para 4,92 (M2) e 5,48 (M3). A dispersão da satisfação entre os grupos (coeficiente de Gini) diminuiu de 0,096 para 0,043, sugerindo resultados mais equitativos sob governança curada e com veto habilitado.
• Eficiência Operacional: Em um log de incidentes sintéticos, o tempo médio para remediação diminuiu significativamente conforme a governança se tornava mais rigorosa: de 30,5 horas (Aberto) para 11,8 horas (Curado) e 5,6 horas (Veto habilitado).

5. Significância e Alegações

O artigo posiciona o Prompt Commons como uma evolução necessária na governança de IA no setor público, argumentando que os prompts constituem uma "superfície de governança" distinta que requer versionamento, licenciamento e accountability.

• Previsões Falseáveis: Os autores fazem três alegações específicas e testáveis:
  1. Lançamentos de prompts governados alterarão as distribuições de saída observáveis sob modelos e entradas fixos.
  2. Procedimentos de governança alterarão métricas operacionais, como o tempo de remediação.
  3. A auditabilidade melhorará, medida pela rastreabilidade das saídas para versões específicas de prompts.
• Transparência Procedural: A principal contribuição não é uma melhoria algorítmica específica, mas uma mudança procedural. Ao tornar os desacordos de prompts legíveis como propostas concorrentes com justificativas registradas, a estrutura permite a negociação sobre enquadramentos de valores, em vez de permitir que eles permaneçam implícitos ou ocultos.
• Interoperabilidade: A estrutura é projetada para interoperar com a governança de nível de modelo existente (ex: Model Cards, alinhamento), tratando a configuração de prompt como uma camada adicional de controle que as instituições públicas podem gerir independentemente dos pesos do modelo.

6. Limitações e Modéstia

Os autores declaram explicitamente que o piloto é um "testbed ilustrativo e falseável" em vez de uma alegação de efeitos gerais. O estudo é limitado pelo:

• Uso de um único modelo acessado via API.
• Um benchmark pequeno (N=50 vinhetas).
• Um pool de avaliadores limitado, vinculado a um contexto de recrutamento específico.
• Logs de incidentes sintéticos para testes de segurança.

O artigo conclui que, se as coleções de prompts governadas não melhorarem a auditabilidade, a contestabilidade ou o desempenho de resposta a incidentes em relação às práticas atuais, ou se introduzirem novos danos não mitigados, a posição proposta seria invalidada. O objetivo é estabelecer uma agenda de pesquisa para a governança da camada de prompt, em vez de declarar um problema resolvido.