What You Prompt is What You Get: Increasing Transparency of Prompting Using Prompt Cards

Título: O que Você Prompta é o que Você Obtém: Aumentando a Transparência Usando Cartões de Prompt (Prompt Cards)

1. O Problema

O avanço rápido dos Grandes Modelos de Linguagem (LLMs) popularizou a engenharia de prompts, a prática de criar entradas para guiar modelos para saídas de alta qualidade. No entanto, o campo enfrenta desafios críticos:

• Falta de Padronização: Não existem práticas documentadas ou de avaliação padronizadas para prompts.
• Complexidade e Subjetividade: Prompts podem ser longos, complexos e difíceis de avaliar em tarefas subjetivas.
• Reprodutibilidade: A sensibilidade dos LLMs a pequenas variações na formulação, ordem e contexto do prompt torna difícil replicar resultados exatos.
• Limitações do Benchmarking: Os métodos tradicionais de avaliação (benchmarks) são frequentemente inadequados para tarefas de geração de texto específicas, pois pequenas modificações no prompt ou no protocolo de avaliação podem alterar drasticamente os resultados. Além disso, muitos benchmarks sofrem de contaminação de dados (o modelo já viu os dados de teste durante o treinamento).
• Riscos Éticos e de Segurança: Há preocupações sobre viés, alucinações, vazamento de dados sensíveis e a falta de transparência nas decisões de design que moldam o comportamento do sistema.

2. Metodologia: Cartões de Prompt (Prompt Cards)

Os autores propõem a adaptação do conceito de "Model Cards" (Cartões de Modelo), introduzido por Mitchell et al. (2019) para documentar modelos treinados, para o domínio da engenharia de prompts.

O objetivo é criar um documento estruturado que capture não apenas o modelo, mas todo o processo de engenharia de prompts. O método baseia-se na documentação sistemática das seguintes seções (comparadas aos Model Cards na Tabela 1 do artigo):

• Detalhes do Modelo e Uso Pretendido: Especificação exata do LLM (versão, data, licença) e o contexto de uso (ex: educacional vs. profissional).
• Dataset: Documentação rigorosa dos dados utilizados no prompt, incluindo origem, construção e possíveis vieses inerentes aos dados.
• Contexto: Descrição de como o contexto é enriquecido (ex: system prompts, exemplos few-shot, pares Q&A, dados recuperados via RAG). Inclui a justificativa para a injeção de normas e valores no prompt.
• Arquitetura do Prompt: Um esquema visual ou descritivo que decompõe o prompt em suas partes constituintes (instruções, dados, formato de saída), facilitando a depuração e a replicação.
• Fatores: Análise de como o desempenho varia entre diferentes grupos demográficos ou condições (ex: limitações geográficas em pesquisas de opinião).
• Métricas e Análise Quantitativa: Diferente dos Model Cards, que focam em métricas padronizadas (acurácia, AUC), os Prompt Cards utilizam análises quantitativas hipótese-específicas.
  • Exemplo de Método: Uso de "LLM como Juiz" (LLM-as-a-judge) para reconstruir dados estruturados a partir do texto gerado e medir a "fidelidade" (faithfulness) da informação.
  • Reconhecimento de que a avaliação humana é complementar, mas cara e sujeita a inconsistências.
• Segurança de Dados: Avaliação de riscos de privacidade, uso de internet/APIs externas e estratégias de anonimização ou abstração de dados sensíveis antes de serem enviados ao LLM.
• Considerações Éticas: Discussão explícita sobre vieses, representatividade, impacto social, integridade e limitações do uso automatizado (ex: automação de contratações).
• Cuidados e Recomendações: Limitações conhecidas, condições de falha e orientações para uso responsável.

3. Estudo de Caso e Resultados

Os autores ilustram a metodologia aplicando-a a uma tarefa chamada "Wordalisation", que transforma dados numéricos estruturados em texto descritivo. Foram utilizados três exemplos:

1. Scout de Futebol: Transformação de estatísticas de jogadores em descrições textuais.
2. Pesquisa de Valores Mundiais (World Values Survey): Geração de resumos sobre valores sociais de países.
3. Teste de Personalidade: Conversão de dados do "Big Five" em perfis de personalidade.

Resultados da Aplicação:

• Documentação Completa: Os Prompt Cards criados para essas aplicações documentaram detalhadamente desde a origem dos dados (ex: Kaggle, Open Psychometrics) até a lógica estatística (ex: cálculo de z-scores) e as instruções de few-shot prompting.
• Validação de Fidelidade: No estudo de caso da Pesquisa de Valores Mundiais, os autores usaram um LLM para reconstruir as classes de dados originais a partir dos textos gerados ("wordalisations"). A análise mostrou que a inclusão de textos sintéticos no prompt aumentou significativamente a precisão da reconstrução em comparação com prompts sem esses dados, validando a eficácia da abordagem de contexto.
• Identificação de Limitações: O processo de documentação revelou explicitamente limitações, como a não representatividade de certas populações nos dados da pesquisa e os riscos éticos de usar testes de personalidade para contratação sem supervisão humana.

4. Contribuições Principais

1. Novo Paradigma de Documentação: Introdução dos Prompt Cards como um padrão para documentar a engenharia de prompts, preenchendo a lacuna deixada pela inadequação dos benchmarks tradicionais para tarefas de geração de texto personalizadas.
2. Transparência e Reprodutibilidade: Oferece um guia passo a passo para que outros pesquisadores possam replicar, auditar e adaptar prompts, capturando decisões de design que seriam normalmente implícitas.
3. Alternativa ao Benchmarking Cego: Argumenta que, em vez de buscar um benchmark universal (que é impraticável para a vasta gama de aplicações de LLMs), a comunidade deve focar na transparência e na documentação contextualizada de cada caso de uso.
4. Integração de Ética e Segurança: Torna explícitas as considerações éticas, de viés e de segurança de dados que são críticas para o uso responsável de IA, especialmente em setores de alto risco (saúde, jurídico).

5. Significância e Impacto

O artigo é significativo porque desafia a dependência excessiva de métricas quantitativas padronizadas na avaliação de IA generativa. Em um cenário onde os LLMs são altamente sensíveis ao contexto e onde os benchmarks sofrem de contaminação e falta de generalização, os Prompt Cards emergem como uma ferramenta essencial para:

• Governança e Regulamentação: Ajudam a cumprir requisitos emergentes de leis de IA (como o AI Act da UE) ao fornecer auditoria e transparência sobre como os sistemas funcionam.
• Responsabilidade: Permitem que desenvolvedores e usuários entendam as limitações e os vieses de um sistema antes de sua implementação.
• Evolução da Engenharia de Prompts: Eleva a engenharia de prompts de uma prática artesanal e opaca para uma disciplina de engenharia documentada, reprodutível e ética.

Em resumo, o trabalho defende que "o que você prompta é o que você obtém", e que documentar rigorosamente esse "prompt" através de cartões estruturados é o caminho mais eficaz para garantir transparência, confiança e avanço responsável na área de IA generativa.