Resumo Técnico: Menos Idas e Vindas: Um Estudo Comparativo de Prompting Estruturado

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão cada vez mais implantados para tarefas abertas, como sumarização, planejamento, explicação e codificação. No entanto, prompts não especificados ou vagos frequentemente levam a respostas de baixa qualidade, necessitando de interação adicional do usuário para corrigir erros ou refinar as saídas. Essa "ida e volta" aumenta o esforço do usuário e o custo de interação. Embora seja informalmente compreendido que prompts melhores geram melhores resultados, há uma lacuna prática de evidências quanto à eficácia comparativa de diferentes estratégias de prompting. Especificamente, permanece incerto se os benefícios de simplesmente reescrever um prompt (prompting estruturado) superam ou diferem das abordagens de esclarecimento interativo (onde o modelo faz perguntas primeiro), e se esses efeitos são consistentes entre diferentes tipos de tarefa e arquiteturas de LLM.

Metodologia

O estudo emprega um desenho comparativo em pequena escala para avaliar três condições distintas de prompt em quatro categorias de tarefa (sumarização, planejamento, explicação e codificação) e três sistemas de LLM (ChatGPT, Claude e Grok).

Condições Experimentais

1. Prompt Bruto: Uma condição de base onde um humano escreve um prompt curto e direto como um usuário típico faria, omitindo intencionalmente detalhes específicos, papéis ou restrições de formatação.
2. Prompt Melhorado por Lista de Verificação: O prompt bruto é reescrito usando uma lista de verificação estruturada composta por três elementos:
   • Papéis/Regras: Definindo a persona ou restrições do modelo.
   • Contexto: Explicando o público-alvo e o propósito da tarefa.
   • Formato da Resposta: Especificando a estrutura de saída desejada.
3. Prompt de Perguntas de Esclarecimento: O modelo é instruído a fazer 1 a 3 perguntas de esclarecimento antes de gerar uma resposta final. A interação continua até que o usuário responda, após o que o modelo fornece a saída final.

Métricas de Avaliação

• Qualidade da Saída: Avaliada usando uma rubrica unificada que pontua quatro dimensões (Conclusão da Tarefa, Corretude, Conformidade, Clareza) em uma escala de 0–2, resultando em uma pontuação total de 0–8. As pontuações são mapeadas para cinco níveis interpretativos (Falha Total a Impecável).
• Esforço de Interação: Medido por "voltas-para-aceitação" (onde uma volta equivale a uma mensagem do usuário e uma resposta do modelo) e uso total de tokens (entrada + saída).
• Procedimento: Cada condição foi executada em uma nova sessão para evitar transferência de contexto. Três operadores humanos avaliaram os modelos (um por modelo) usando a mesma rubrica. As contagens de tokens foram registradas usando tokenizadores específicos de cada modelo.

Contribuições Principais

O artigo apresenta três contribuições primárias:

1. Estrutura Comparativa: Apresenta um quadro controlado para comparar três estratégias comuns de prompting (bruto, lista de verificação e esclarecimento interativo) em múltiplos modelos e tarefas.
2. Análise de Estabilidade Cruzada entre Modelos: Testa se a eficácia do prompting estruturado permanece estável entre diferentes sistemas de LLM (ChatGPT, Claude, Grok) e diversos tipos de tarefa.
3. Avaliação de Métrica Dupla: Avalia simultaneamente a qualidade da resposta final e o custo de interação, em vez de tratá-los como preocupações separadas, fornecendo uma visão holística do tradeoff qualidade-esforço.

Resultados

O estudo produziu as seguintes descobertas:

• Desempenho de Qualidade: Prompts melhorados por lista de verificação alcançaram a maior pontuação média na rubrica (7,50/8), superando significativamente os prompts brutos (5,67/8) e os prompts de perguntas de esclarecimento (6,67/8).
• Eficiência de Interação: Prompts com lista de verificação exigiram uma média de 1,00 volta para aceitação, igualando a linha de base do prompt bruto, mas com qualidade vastamente superior. Em contraste, prompts de perguntas de esclarecimento exigiram uma média de 1,96 voltas devido à troca inicial de perguntas e respostas.
• Uso de Tokens: Prompts com lista de verificação demonstraram o melhor tradeoff qualidade-esforço em relação ao uso de tokens, com uma média de 683,42 tokens, comparado a 962,25 para prompts brutos e 936,50 para prompts de esclarecimento.
• Variabilidade de Tarefa e Modelo:
  • Tipos de Tarefa: A condição de lista de verificação mostrou os maiores ganhos em codificação (melhoria de 4,67 para 7,83) e planejamento. Para sumarização, prompts com lista de verificação e prompts de esclarecimento performaram igualmente bem.
  • Diferenças entre Modelos: ChatGPT e Grok alcançaram suas maiores pontuações com prompts de lista de verificação. O Claude performou ligeiramente melhor com prompts de esclarecimento do que com listas de verificação, embora as listas de verificação ainda tenham exigido menos voltas no total.
• Validação de Hipóteses:
  • H1 (Lista de Verificação > Bruto): Suportada. Listas de verificação produziram saídas de maior qualidade.
  • H2 (Esclarecimento > Bruto e Lista de Verificação): Parcialmente suportada. O esclarecimento melhorou em relação aos prompts brutos, mas não superou os prompts com lista de verificação no geral.
  • H3 (Esforço Reduzido): Suportada para listas de verificação (alta qualidade em uma volta), mas não para prompts de esclarecimento (que aumentaram as voltas de interação).

Significado e Alegações

O artigo alega que uma simples lista de verificação de prompt — especificando papéis, contexto e formato de resposta — pode melhorar significativamente a qualidade da resposta do LLM, reduzindo ao mesmo tempo a interação desnecessária. As descobertas sugerem que o prompting estruturado oferece um equilíbrio superior entre qualidade de saída e esforço de interação, comparado tanto a prompts brutos não estruturados quanto a estratégias de esclarecimento interativo.

Os autores enfatizam que, embora "prompts melhores" sejam frequentemente assumidos como benéficos, este estudo fornece evidências empíricas de que prompts melhorados por lista de verificação são uma estratégia mais eficiente do que depender do modelo para fazer perguntas de esclarecimento. O estudo conclui que mesmo orientações estruturais básicas podem tornar as respostas do modelo mais utilizáveis e aceitáveis em uma única volta, reduzindo assim as "idas e vindas" típicas da interação humano-IA.

Limitações

Os autores reconhecem várias restrições:

• O estudo é limitado em escala (quatro tarefas, três modelos) e não deve ser generalizado para todos os cenários de prompting.
• As pontuações de qualidade dependem da avaliação dos autores, em vez de avaliadores independentes cegos ou estudos com usuários externos, introduzindo subjetividade potencial.
• As tarefas de referência podem não representar totalmente ambientes corporativos complexos ou cenários do mundo real.
• Pode existir variação específica do operador, já que cada modelo foi manuseado por um único avaliador humano.

Trabalho futuro é proposto para incluir participantes humanos externos, avaliações cegas em pares e estudos de ablação para determinar quais componentes específicos da lista de verificação (papel, contexto ou formato) contribuem mais para as melhorias observadas.