FOR-Prompting: From Objection to Revision via an Asymmetric Prompting Protocol

O artigo apresenta o FOR-Prompting, um protocolo de prompt assimétrico que melhora a precisão e a qualidade de respostas de modelos de linguagem, inclusive em dispositivos com recursos limitados, ao estruturar uma interação onde um "Defensor" propõe soluções e um "Debatedor" formula objeções sem oferecer correções diretas, permitindo refinamento iterativo sem necessidade de treinamento ou acesso aos parâmetros internos do modelo.

O essencial

Imagine que você pediu para um amigo muito inteligente, mas um pouco apressado, escrever um roteiro de viagem ou resolver um problema difícil de matemática. Ele entrega a resposta rapidamente. Mas e se, em vez de ele apenas corrigir o próprio erro sozinho, ele tivesse um "advogado do diabo" (alguém que só faz perguntas difíceis) para testar a resposta antes de ela ser finalizada?

É exatamente isso que o FOR-Prompting faz.

O nome é um pouco técnico (From Objection to Revision Prompting), mas a ideia é simples e genial. Vamos descomplicar usando uma analogia de um jogo de tribunal ou uma reunião de equipe.

O Grande Problema: O "Solitário"

Normalmente, quando usamos Inteligência Artificial (como o ChatGPT), ela age como um único pensador. Ela recebe uma pergunta, pensa um pouco (às vezes em cadeia, como o Chain of Thought) e entrega a resposta.

• O problema: Se ela comete um erro inicial, ela tende a continuar no mesmo caminho, porque ninguém está lá para dizer: "Ei, espere! Você esqueceu de considerar isso?" ou "Isso não faz sentido". É como tentar montar um móvel sozinho sem ler o manual: você pode apertar o parafuso errado e só perceber quando a estante cai.

A Solução: O Protocolo FOR-Prompting

Os autores criaram um sistema onde a IA não trabalha sozinha. Eles dividem a tarefa em três personagens (ou papéis), como se fosse uma peça de teatro:

1. O Defensor (The Defender): É o "engenheiro". Ele tenta resolver o problema e dá a resposta.
2. O Debatedor (The Debater): É o "advogado do diabo" ou o "inspetor de qualidade". Aqui está a mágica: O Debatedor NÃO dá a resposta certa. Ele só faz perguntas.
   • Ele pergunta: "Você tem certeza de que esse número está certo?", "E se chover no dia da viagem?", "Você considerou que o grupo tem 6 pessoas?".
   • Ele não diz "A resposta é X". Ele diz: "Por que a resposta não é Y?".
3. O Anfitrião (The Host): É o "mediador". Ele pega a resposta original, as perguntas do Debatedor e a nova versão do Defensor, e monta a resposta final polida.

A Analogia do "Chefe de Cozinha"

Pense em um restaurante de luxo:

• O Defensor é o Chef de Cozinha. Ele prepara o prato.
• O Debatedor é o Degustador Crítico. Ele não entra na cozinha para cozinhar o prato por ele. Ele prova, faz careta e pergunta: "Chef, essa sopa está muito salgada. Você não esqueceu o sal?", "A carne parece dura, será que não cozinharam o suficiente?".
• O Chef (Defensor) ouve as perguntas, volta à cozinha, ajusta a receita e entrega o prato de novo.
• O Anfitrião serve o prato final ao cliente.

Por que isso é melhor?
Se o Degustador apenas dissesse "Faça o prato X", ele estaria cozinhando por ele. Mas, ao fazer apenas perguntas, ele força o Chef a pensar mais fundo, a revisar seus próprios passos e a encontrar os erros que ele mesmo não viu.

O Que a Pesquisa Descobriu?

Os autores testaram isso de várias formas e descobriram coisas incríveis:

1. Funciona até em "Cérebros" Pequenos: Eles usaram modelos de IA muito pequenos e baratos (que normalmente erram muito em matemática). Com o FOR-Prompting, esses modelos pequenos ficaram quase tão bons quanto os modelos gigantes e caros! É como se um estudante do ensino médio, com um professor que só faz perguntas inteligentes, conseguisse resolver problemas de nível universitário.
2. Economia Inteligente: Você pode usar um modelo pequeno e barato para ser o "Debatedor" (fazer as perguntas) e um modelo grande e caro apenas para ser o "Defensor" (resolver). Isso economiza dinheiro e tempo, mantendo a qualidade alta.
3. Melhor para Tarefas Criativas: Em tarefas abertas, como planejar uma viagem, o sistema gerou roteiros muito mais completos. Enquanto outros sistemas esqueciam de mencionar "e se a chuva cair?", o FOR-Prompting fez o sistema pensar: "E se a chuva cair?", e o roteiro ficou pronto para qualquer situação.
4. Preferência Humana: Quando pessoas reais leram os roteiros de viagem, 74% preferiram o roteiro feito pelo FOR-Prompting, achando-o mais útil, realista e completo do que os feitos por IAs poderosas trabalhando sozinhas.

Resumo em uma Frase

O FOR-Prompting é como dar um "espelho" para a Inteligência Artificial. Em vez de apenas responder, ela é forçada a ouvir perguntas críticas, o que a faz revisar seu próprio trabalho, corrigir erros e entregar algo muito melhor, tudo isso sem precisar de um humano segurando a mão o tempo todo.

É uma forma de transformar a IA de um "respondedor rápido" em um "pensador cuidadoso".

Resumo técnico

Resumo Técnico: FOR-Prompting

1. Problema e Motivação

Os protocolos de raciocínio atuais para Grandes Modelos de Linguagem (LLMs), como Chain of Thought (CoT) e Tree of Thought (ToT), organizam a deliberação interna, mas carecem de um mecanismo explícito para questionamento externo que induza a auto-revisão sem fornecer soluções diretas.

• Limitações das abordagens existentes: Métodos de debate multi-agente ou revisão muitas vezes introduzem "pensamento externo" ou soluções concorrentes no rastro de raciocínio. Isso confunde a detecção de erros com a substituição da resposta, dilui a autoria (proveniência) e torna difícil isolar o efeito do questionamento em si.
• A Lacuna: Em muitos cenários (matemática, planejamento, análise), o que melhora uma resposta não é outra resposta, mas uma pergunta bem formulada que exponha lacunas, suposições não declaradas ou restrições ignoradas. A prática humana de Human-in-the-Loop (HITL) frequentemente usa perguntas para refinar respostas de IA, em vez de corrigi-las diretamente. O FOR-Prompting visa automatizar esse ciclo de "objeção por pergunta".

2. Metodologia: O Protocolo FOR-Prompting

O FOR-Prompting (From Objection to Revision Prompting) é um protocolo de promptagem assimétrico baseado em três papéis distintos, operando em um loop iterativo de Questionamento-Revisão:

1. Defensor (Defender): Propõe uma resposta inicial e revisa iterativamente a solução com base nas objeções recebidas. É o único agente responsável pela geração da resposta final.
2. Debatedor/Questionador (Debater/Questioner): Gera apenas objeções no formato de perguntas (clarificadoras, de verificação de restrições, contra-exemplos ou contra-factuais).
   • Restrição Crítica: O Debatedor nunca fornece soluções, correções diretas ou respostas alternativas. Seu papel é puramente pressionar o Defensor a reavaliar.
3. Anfitrião (Host - Opcional): Sintetiza o histórico completo da interação (perguntas e revisões) para produzir a saída final refinada.

Fluxo de Trabalho:

1. O Defensor gera a resposta inicial ($A_0$).
2. O Debatedor analisa $A_0$ e gera um conjunto de perguntas ($O_1$).
3. O Defensor reavalia a tarefa original incorporando as perguntas $O_1$ e gera uma nova resposta ($A_1$).
4. O ciclo repete-se por $N$ rodadas.
5. O Host (se presente) consolida o resultado final.

O protocolo é agnóstico ao modelo e não requer treinamento, operando puramente através de prompts estruturados por função.

3. Contribuições Principais

1. Novidade Conceitual: É o primeiro protocolo que formaliza o questionamento (e não a substituição de respostas) como a única forma de intervenção externa. Isso preserva uma única linha de raciocínio responsável, melhorando a interpretabilidade e a responsabilidade (accountability).
2. Design de Protocolo: Estabelece um loop de interação leve baseado em papéis, onde as objeções são estritamente perguntas. Isso permite um estudo sistemático do questionamento como mecanismo de melhoria do raciocínio.
3. Validação Empírica:
   • Desempenho competitivo em modelos comerciais (GPT-4o) e ganhos significativos em modelos de pequeno porte (LLaMA-3.2-1B).
   • Demonstração de que a troca de papéis entre modelos (um modelo pequeno como questionador e um grande como defensor) mantém alta performance com redução de custos.
   • Eficácia em tarefas abertas (planejamento de viagens) com preferência humana superior às bases de referência.

4. Resultados Experimentais

• Avaliação em GSM8K (Matemática):

  • GPT-4o: O FOR-Prompting alcançou 0.94 de precisão, igualando o Chain-of-Thought (CoT) e o Self-Ask, e superando consistentemente o Single-Prompt (0.92).
  • LLaMA-3.2-1B (Modelo Pequeno): O Single-Prompt obteve apenas 7% de precisão. O FOR-Prompting (sem o Host) alcançou 23%, igualando o CoT e superando drasticamente a linha de base. Isso demonstra que o mecanismo de questionamento externo é eficaz mesmo com capacidade paramétrica limitada.
  • Impacto do Host: Em modelos pequenos, a etapa de síntese do Host às vezes introduz erros, sugerindo que a melhoria vem principalmente do mecanismo de questionamento e não da consolidação.

• Troca de Papéis entre Modelos (Cross-Model Role Swapping):

  • Quando o GPT-4o atuou como Defensor e o LLaMA-3.2-1B como Debatedor, a precisão foi de 0.93.
  • Quando os papéis foram invertidos (LLaMA como Defensor), a precisão caiu para 0.21.
  • Conclusão: O protocolo é assimétrico. O papel de "Questionador" não exige alta capacidade do modelo, enquanto o "Defensor" é o fator crítico para o desempenho. Isso permite pipelines híbridos de baixo custo.

• Correção de Erros e Tarefas Abertas:

  • Correção de Erros: Em um teste de contagem de caracteres ("strarrtrabbbery"), o modelo corrigiu um erro inicial de 4 para 5 'r's após o questionamento do Debatedor, algo que o Single-Prompt falhou em fazer.
  • Planejamento de Viagens (Rio de Janeiro): Em uma tarefa de geração de itinerário, o FOR-Prompting produziu planos mais completos, realistas e com melhor gestão de contingências (ex: alternativas para ingressos esgotados, segurança, acessibilidade).
  • Avaliação Humana: Em um estudo cego com 77 participantes, 74% preferiram os itinerários gerados pelo FOR-Prompting em comparação com modelos de ponta (GPT-4.1 e outro sistema frontier), citando maior completude e utilidade prática.

5. Significado e Impacto

O FOR-Prompting oferece uma mudança de paradigma na interação com LLMs:

• Eficiência de Recursos: Permite que modelos pequenos e locais (on-device) realizem raciocínio complexo e refinamento iterativo, reduzindo a dependência de modelos massivos e custos de API.
• Transparência e Controle: Ao manter o Defensor como único autor da solução e usar apenas perguntas como entrada externa, o protocolo evita a "poluição" do raciocínio com soluções externas, facilitando o rastreamento de erros e a auditoria do processo.
• Aplicabilidade em Cenários Dinâmicos: O protocolo é adaptável a tarefas multi-etapa e dinâmicas (ex: atualizações de condições em tempo real), onde o questionamento contínuo ajuda a ajustar planos sem reiniciar o processo.
• Futuro: Abre caminho para sistemas de raciocínio autônomos que simulam a revisão humana crítica sem a necessidade de intervenção humana direta, sendo promissor para áreas como análise de políticas, saúde e educação.

Em suma, o FOR-Prompting demonstra que a pressão interrogativa externa é um motor poderoso para a melhoria do raciocínio, capaz de superar limitações de modelos pequenos e superar abordagens de auto-reflexão ou debate simétrico em termos de clareza e eficácia.