Resumo Técnico: O que impulsiona a melhoria interativa a partir de feedback?

Definição do Problema

À medida que os Grandes Modelos de Linguagem (LMs) são cada vez mais implantados como agentes interativos que agem, observam e revisam, surge uma questão crítica: Quando o feedback em linguagem natural realmente impulsiona a melhoria além dos ganhos obtíveis apenas por tentativas repetidas?

Em configurações de múltiplos turnos, uma precisão final mais alta pode ser confundida com vários mecanismos:

1. Feedback Útil: O agente interpreta e age corretamente sobre informações diagnósticas.
2. Reamostragem/Computação: O agente simplesmente gera mais tentativas, beneficiando-se do aumento da computação em tempo de teste (ex: amostragem Best-of-N ou Cadeia de Pensamento/Chain-of-Thought).
3. Correção de Formato: O agente corrige erros de formatação de saída em vez de resolver o problema lógico subjacente.

A literatura atual frequentemente trata a melhoria de múltiplos turnos como evidência de utilidade do feedback sem desmembrar esses fatores. Além disso, permanece incerto se o gargalo para a melhoria interativa reside na capacidade do professor em gerar feedback útil ou na capacidade do aluno em utilizá-lo.

Metodologia

Os autores introduzem um protocolo controlado aluno-professor projetado para isolar a contribuição específica do feedback da reamostragem repetida.

Configuração Experimental

• Protocolo: Um loop de interação "didático" onde um modelo aluno tenta resolver um problema. Se estiver incorreto, um modelo professor fornece feedback em linguagem natural (sem revelar a resposta final) e o aluno revisa sua tentativa. Isso se repete até $K=10$ turnos.
• Ambientes: Quatro benchmarks de raciocínio verificáveis foram utilizados:
  • Omni-MATH: Matemática de nível de olimpíada.
  • Codeforces: Programação competitiva.
  • BBEH Linguini: Uma tarefa que requer aprendizado de novas regras.
  • ARC-AGI1: Quebra-cabeças de raciocínio abstrato em grade.
• Modelos: Treze modelos de pesos abertos de quatro famílias (Gemma4, Llama3, Qwen3.5, GPT-OSS) variando de 1B a 120B de parâmetros.
• Design de Matriz Densa: Cada modelo foi avaliado tanto no papel de aluno quanto de professor em todos os ambientes, criando uma matriz de interação de $13 \times 13$. Isso permite a marginalização dos efeitos do aluno e do professor.
• Baselines & Controles:
  • Autorrefinamento (Self-refinement): O aluno tenta resolver o problema novamente sem qualquer feedback externo (controlando para tentativas repetidas).
  • Autofeedback (Self-feedback): O aluno gera seu próprio feedback (controlando para a presença de uma mensagem de feedback).
  • Melhor Feedback (Best Feedback): O aluno é emparelhado com o professor mais forte disponível.
• Ablações: O estudo variou o comprimento do histórico de interação ($h \in \{1..5\}$) e o acesso do professor a informações privilegiadas (ex: soluções de verdade fundamental, rastros de execução) para testar seu impacto seletivo.

Métricas

• acc@K: Precisão no turno $K$.
• Ganho Bruto/Normalizado: $acc@K - acc@1$e$\frac{acc@K - acc@1}{1 - acc@1}$, isolando a melhoria da tentativa inicial.
• AUC: Área sob a curva da precisão cumulativa ao longo dos turnos.

Principais Contribuições

1. Estrutura de Avaliação Controlada: Um protocolo de avaliação aluno-professor zero-shot que separa os ganhos específicos do feedback dos benefícios da amostragem repetida e do autorrefinamento.
2. Desmembramento de Mecanismos: Evidência empírica mostrando que a melhoria de múltiplos turnos não é sinônima do uso de feedback; o autofeedback muitas vezes adiciona pouco sobre o autorrefinamento não guiado.
3. Gargalo Centrado no Aluno: Uma demonstração de que o desempenho interativo é impulsionado principalmente pela capacidade do aluno de usar o feedback, e não pela identidade do professor, embora a escolha do professor permaneça significativa para um aluno fixo.
4. Valor Seletivo de Informação Privilegiada: Descobertas de que históricos mais longos e informações privilegiadas do professor (ex: respostas de verdade fundamental) não são universalmente benéficos, mas atuam como intervenções direcionadas dependentes da dificuldade da tarefa e da capacidade do modelo.

Principais Resultados

1. Ganhos Específicos de Feedback são Limitados Sem Orientação Forte

• Autofeedback vs. Autorrefinamento: Adicionar uma mensagem de feedback gerada pelo mesmo modelo (autofeedback) produziu resultados inconsistentes em comparação ao autorrefinamento não guiado. Em alguns ambientes (ex: BBEH Linguini), o autofeedback não ofereceu vantagem sobre a simples repetição.
• Impacto do Professor Externo: Os maiores ganhos vieram do emparelhamento de alunos com professores de alta qualidade. As condições de "melhor feedback" adicionaram de 9,2 a 16,6 pontos percentuais em $acc@10$ sobre o autorrefinamento, sugerindo que o feedback útil deve fornecer informações corretivas além da repetição genérica.
• Ganhos Front-Loaded: As melhorias marginais foram fortemente concentradas no início; a primeira tentativa condicionada ao feedback contabilizou 30–58% dos ganhos totais, com retornos decrescentes nos turnos posteriores.

2. O Desempenho Interativo Depende do Aluno

• Dominância da Identidade do Aluno: Na matriz densa de modelos, a identidade do aluno explicou de 77,1% a 96,5% da variação nos ganhos por par. A identidade do professor explicou apenas 1,3% a 12,4%.
• Capacidades Distintas: A habilidade inicial de resolução do modelo ($acc@1$) não prevê sua capacidade de melhorar com feedback ($ngain$). Por exemplo, o GPT-OSS-120B frequentemente começava com um $acc@1$ mais alto, mas mostrava menor adesão ao feedback do que o Gemma4-31B em certos ambientes.
• Competência do Professor: O desempenho de tarefa de turno único do professor é apenas um preditor parcial de sua habilidade de ensino interativo. Em 28,9%–41,4% dos pares comparáveis, um solver mais fraco atuou como um professor mais eficaz para um aluno específico.

3. Contexto e Informação Privilegiada são Seletivos

• Comprimento do Histórico: Aumentar o histórico visível de 1 para 5 turnos proporcionou ganhos modestos (ex: +0,094 AUC no Omni-MATH), mas foi altamente dependente da capacidade do modelo. Professores mais fortes aproveitaram melhor o histórico para diagnosticar falhas repetidas.
  o.
• Informação Privilegiada: Dar aos professores acesso às respostas de verdade fundamental não melhorou uniformemente os resultados.
  • BBEH Linguini: Mostrou o maior benefício (AUC aumentou de 0,151 para 0,331 com acesso à resposta).
  • Codeforces/Omni-MATH: Os benefícios foram marginais ou inexistentes, provavelmente porque o professor já possuía contexto suficiente (ex: rastros de execução) ou a estrutura da tarefa tornou a resposta menos crítica para o diagnóstico.
• Vazamento (Leakage): Mesmo com acesso privilegiado, o vazamento de informação do professor para o aluno foi baixo (<5%), indicando que os professores geralmente aderiram à restrição de não revelar a solução.

Significância e Alegações

O artigo argumenta que o campo deve mudar a forma como avalia agentes baseados em feedback:

• Rigor de Avaliação: Ganhos de múltiplos turnos devem sempre ser comparados com baselines de tentativas repetidas (autorrefinamento) para garantir que as melhorias sejam verdadeiramente impulsionadas pelo feedback.
• Identificação de Gargalos: O principal impedimento no melhoria interativa é frequentemente a capacidade do aluno de agir sobre o feedback, e não a mera disponibilidade de feedback ou a força do professor.
• Implantação Estratégica: Históricos de interação mais longos e informações privilegiadas do professor devem ser tratados como intervenções direcionadas para gargalos específicos, em vez de melhorias padrão, pois aumentam o custo computacional e a pressão de contexto sem retorno garantido.

Os autores concluem que, embora o feedback seja uma ferramenta poderosa, sua eficácia é contingente na capacidade do aluno de traduzir informações diagnósticas em correções acionáveis, uma capacidade que varia significamente entre arquiteturas e tamanhos de modelos.