TATRA: Training-Free Instance-Adaptive Prompting Through Rephrasing and Aggregation

O artigo apresenta o TATRA, um método de engenharia de prompts livre de treinamento que, ao sintetizar exemplos específicos para cada instância em tempo real, supera ou iguala abordagens baseadas em otimização intensiva e dados rotulados em tarefas de classificação de texto e raciocínio matemático.

O essencial

Imagine que você tem um gênio muito inteligente, mas um pouco teimoso e caprichoso. Esse gênio é um Modelo de Linguagem (como o ChatGPT ou o Gemini). Ele sabe responder quase tudo, mas se você pedir a mesma coisa de duas formas ligeiramente diferentes, ele pode te dar uma resposta brilhante em um caso e uma resposta confusa no outro.

A maioria dos métodos atuais para "treinar" esse gênio é como tentar ensinar um aluno estudando com um livro inteiro de exercícios (um conjunto de dados de treinamento) antes de fazer a prova. É caro, demorado e, se você mudar o tipo de prova, precisa estudar tudo de novo.

O TATRA (o tema deste artigo) propõe uma solução diferente, mais ágil e que não precisa de livros de exercícios. Vamos usar uma analogia para entender como funciona:

A Analogia do "Detetive com Múltiplos Ângulos"

Imagine que você é um detetive tentando resolver um caso (a tarefa que você quer que a IA faça).

1. O Problema: Você tem uma única pista (a pergunta do usuário). Se você perguntar ao gênio de uma só vez, ele pode errar porque a pergunta foi mal formulada ou ele estava "de mau humor".
2. A Solução Antiga (Métodos Tradicionais): O detetive passa meses estudando milhares de casos antigos (dados de treinamento) para criar uma "receita perfeita" de como fazer a pergunta. Essa receita é fixa e serve para todos os casos.
3. A Solução TATRA (O Método do Artigo): O TATRA não estuda casos antigos. Em vez disso, ele usa uma estratégia de revisão em grupo e múltiplas perspectivas para cada pergunta individual.

Como o TATRA funciona passo a passo:

1. O "Reformulador" (Rephrasing):
Em vez de fazer a pergunta uma única vez, o TATRA pega a sua pergunta original e a reescreve de várias formas diferentes (como se fosse um advogado reescrevendo um argumento de 10 maneiras diferentes para garantir que o juiz entenda).

• Exemplo: Se a pergunta é "Este filme é bom?", o TATRA cria variações como "Você recomendaria este filme?", "A qualidade deste filme é alta?" e "O filme vale a pena?".

2. O "Criador de Exemplos" (Aggregation/Examples):
O TATRA também cria, na hora, alguns exemplos de como responder a esse tipo de pergunta. Ele inventa cenários fictícios que se encaixam no tema.

• Analogia: É como se, antes de responder, o TATRA dissesse: "Olhe, aqui estão 3 exemplos de como alguém responderia a perguntas sobre filmes. Agora, olhe para a sua pergunta e tente seguir esse estilo."

3. O "Júri" (Evaluator & Voting):
Agora, o TATRA pega a pergunta original + as 10 versões reescritas + os exemplos criados e manda tudo para o "Gênio" (a IA) responder.

• Ele faz isso várias vezes (como se tivesse 15 jurados diferentes).
• No final, ele não confia na resposta de apenas um. Ele faz uma votação. Se 12 dos 15 jurados disseram "Sim, o filme é bom", a resposta final é "Sim".

Por que isso é genial?

• Não precisa de "Escola" (Dataset-Free): A maioria dos métodos precisa de um monte de dados rotulados (respostas certas e erradas) para aprender. O TATRA não precisa disso. Ele cria os exemplos na hora, como se estivesse improvisando uma aula rápida para cada aluno.
• Adaptável (Instance-Adaptive): Em vez de criar uma regra geral para todos os problemas, o TATRA cria uma estratégia personalizada para cada pergunta que chega. É como ter um professor particular que ajusta a explicação para o jeito que aquele aluno está pensando naquele momento.
• Robusto: Como ele faz a pergunta de várias formas e consulta vários "jurados", é muito difícil ele errar. Se uma versão da pergunta confundir o gênio, as outras 9 versões vão corrigir o erro na votação final.

Resumo da Ópera

O TATRA é como um equipe de consultores que, ao receber um problema, não tenta decorar a resposta. Em vez disso:

1. Eles reescrevem o problema de 10 formas diferentes para garantir que entendam tudo.
2. Eles inventam exemplos rápidos para se aquecerem no tema.
3. Eles consultam o especialista (a IA) várias vezes com essas variações.
4. Eles votam na resposta mais comum.

O resultado? Uma IA muito mais precisa, que não precisa ser "treinada" com dados específicos para cada tarefa, e que funciona melhor em tarefas difíceis (como matemática e classificação de textos) do que métodos que gastam horas tentando encontrar a "pergunta perfeita" para todo o mundo.

É como trocar o método de "decorar a resposta" por "pensar bem antes de responder", e fazer isso de várias perspectivas ao mesmo tempo.

Resumo técnico

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) modernos, apesar de alinhados e capazes, exibem uma fragilidade extrema em relação à formulação do prompt. Pequenas alterações semânticas, de formatação ou de ordem nas instruções podem causar flutuações significativas no desempenho.

As abordagens atuais de Engenharia Automática de Prompt (APE) tentam mitigar isso, mas enfrentam três limitações principais:

1. Dependência de Dados: A maioria exige um conjunto de dados de treinamento específico para a tarefa para otimizar o prompt.
2. Otimização Custosa: Elas realizam loops de otimização iterativos e caros para produzir um único prompt de nível de conjunto de dados (dataset-level).
3. Falta de Adaptabilidade: O prompt otimizado é estático e não se adapta a cada nova entrada (instância), sendo necessário reexecutar o processo para novas tarefas.

O cenário ideal seria um método que não precise de dados rotulados, não exija treinamento e seja adaptável a cada amostra individualmente.

2. Metodologia: TATRA

O TATRA é um método de prompting livre de treinamento (training-free) e livre de conjuntos de dados (dataset-free). Em vez de buscar um único prompt global, ele constrói prompts específicos para cada instância (per-instance) sintetizando exemplos on-the-fly.

O pipeline do TATRA consiste em cinco componentes principais, executados independentemente para cada amostra de teste:

1. Geração de Exemplos In-Context:

   • Para um conjunto de rótulos $Y$, o modelo gerador cria um conjunto balanceado de exemplos sintéticos para cada rótulo.
   • O gerador segue regras estritas de formatação, estilo (ex: adjetivos positivos para sentimentos positivos) e diversidade de tópicos.
   • Exemplos com erros (rótulos incompatíveis) são filtrados.

2. Parafraseamento da Entrada:

   • A entrada original $x$ é reescrita $n$ vezes para criar variações semanticamente equivalentes ($x^{(p)}_1, ..., x^{(p)}_n$).
   • O objetivo é garantir robustez linguística, preservando informações críticas (como a intenção da tarefa ou a estrutura matemática).

3. Avaliação (Evaluador):

   • Um modelo de linguagem congelado (frozen LLM) atua como avaliador.
   • Para cada variante da entrada (original + paráfrases), ele recebe um prompt composto por: (i) instruções da tarefa, (ii) os exemplos sintéticos gerados e (iii) a entrada a ser classificada.
   • Isso é repetido $r$ vezes (rodadas independentes) para cada instância.

4. Agregação por Votação Majoritária:

   • O sistema coleta todas as previsões geradas: $(n+1) \times r$ previsões por instância.
   • A previsão final é determinada pela votação majoritária (majority vote) sobre todas as previsões coletadas.
   • Em caso de empate, a previsão da entrada original (não parafreada) é usada como critério de desempate.

5. Independência de Instância:

   • Todo o processo é executado separadamente para cada nova observação, sem necessidade de reotimização global.

3. Principais Contribuições

• Método Livre de Dados e Treinamento: O TATRA é a única abordagem comparada que é simultaneamente dataset-free (não usa dados de treinamento rotulados), training-free (não usa RL ou gradiente) e gera prompts per-sample com exemplos few-shot sintéticos.
• Superioridade em Robustez: Demonstra que a construção de exemplos few-shot específicos para cada instância, combinada com agregação via paráfrase, é mais eficaz do que longos loops de otimização de prompts em nível de conjunto de dados.
• Generalização Transversal: O método funciona bem mesmo quando o gerador de exemplos e o avaliador são modelos diferentes (ex: Llama gerando exemplos para Qwen avaliar), indicando que os exemplos sintéticos são universais e transferíveis.

4. Resultados Experimentais

Os autores avaliaram o TATRA em três famílias de tarefas: classificação de texto, raciocínio matemático e tarefas de domínio específico.

• Classificação de Texto (SST-2, MR, TREC, etc.):

  • O TATRA alcançou o melhor desempenho médio (84,19%) entre todos os métodos, superando baselines fortes que dependem de dados de treinamento (como APO, PRL e PIAST).
  • Destaque na tarefa TREC, onde superou o segundo melhor método em cerca de 7 pontos percentuais.

• Raciocínio Matemático (GSM8K, DeepMath, MATH500):

  • Estado da Arte (SOTA): O TATRA alcançou o melhor desempenho no GSM8K (94,67%) e DeepMath (27,43%), superando métodos que otimizam explicitamente os prompts nesses conjuntos de dados.
  • No MATH500, manteve-se competitivo, superando métodos de otimização de instrução (APE, GA, GRACE).

• Tarefas de Domínio (MedQA):

  • Mesmo sendo um método out-of-distribution (sem dados médicos de treinamento), o TATRA foi competitivo com baselines que utilizam dados de treinamento, demonstrando a capacidade de transferência da síntese de exemplos.

• Análise de Escala e Hiperparâmetros:

  • O desempenho escala positivamente com o tamanho do modelo avaliador (melhorando de 3B para 14B parâmetros).
  • A sensibilidade aos hiperparâmetros mostra que um número moderado de paráfrases ($n \approx 5-10$) e exemplos ($k \approx 8-16$) oferece o melhor equilíbrio entre custo computacional e precisão.

5. Significado e Conclusão

O TATRA desafia a premissa comum de que a otimização de prompts requer dados de treinamento rotulados e loops de busca caros. O artigo sugere que:

1. A adaptação por instância é crucial: A capacidade de gerar exemplos relevantes para a entrada específica é mais valiosa do que um prompt "perfeito" e estático para todo o conjunto de dados.
2. Robustez via Agregação: A combinação de paráfrase e votação majoritária mitiga a sensibilidade do LLM a variações superficiais no prompt.
3. Viabilidade Prática: Embora o TATRA exija mais tempo de inferência por amostra (devido à geração de paráfrases e múltiplas rodadas), ele elimina o tempo de treinamento e a necessidade de dados rotulados, tornando-o ideal para cenários onde os dados são escassos, sensíveis ou onde as tarefas surgem de forma ad hoc.

Em resumo, o TATRA oferece uma nova direção para a engenharia de prompts, focando na adaptação dinâmica e sintética em vez da otimização estática baseada em dados.