Resumo Técnico: Estamos Medindo Estratégia ou Fraseologia?

Declaração do Problema

Embora a diversidade nas gerações de Grandes Modelos de Linguagem (LLMs) seja crítica para tarefas como escalonamento em tempo de teste (test-time scaling) e colaboração multiagente, os métodos atuais para medir e otimizar a diversidade no raciocínio matemático estão fundamentalmente desalinhados com a intuição humana. As métricas de diversidade existentes capturam primariamente a variação de superfície (diferenças em redação, notação ou formatação) em vez da diversidade de nível de abordagem (diferenças nas estratégias subjacentes de solução).

Este desalinhamento cria uma lacuna crítica:

1. Falha de Avaliação: Métricas padrão (ex: distância N-grama, similaridade de cosseno de embeddings, razões de equações distintas) frequentemente atribuem pontuações altas de diversidade a soluções que são meramente versões parafraseadas da mesma estratégia, enquanto atribuem pontuações baixas a soluções que utilizam mecanismos matemáticos genuinamente diferentes.
2. Falha de Treinamento: Métodos de Aprendizado por Reforço com Recompensas Verificáveis (RLVR) que consideram a diversidade, os quais otimizam esses proxies de superfície, reduzem inadvertidamente a verdadeira diversidade estratégica do modelo. Eles incentivam o modelo a produzir realizações variadas de um conjunto estreito de estratégias, em vez de explorar abordagens distintas.

Metodologia

1. Definindo e Anotando a Diversidade de Nível de Abordagem

Os autores definem diversidade de nível de abordagem como a variação nas estratégias de resolução de problemas subjacentes utilizadas para chegar a uma resposta correta. Eles operacionalizam isso através de três dimensões:

• Ferramentas matemáticas: As técnicas invocadas (ex: algébrica vs. geométrica).
• Definições estruturais: Como o problema é configurado (ex: funções auxiliares vs. substituição direta).
• Ponto de vista representacional: A perspectiva adotada (ex: geometria de coordenadas vs. sintética).

Para estabelecer uma verdade fundamental (ground truth), os autores construíram um conjunto de dados anotado por humanos de 80 pares de soluções para 20 problemas do MATH. Os anotadores (engenheiros com bacharelado ou superior) julgaram se pares de soluções corretas usavam as mesmas ou diferentes abordagens, alcançando 80% de concordância entre anotadores.

2. Diagnosticando Métricas Convencionais

O estudo avaliou cinco métricas de diversidade convencionais contra a referência humana:

• Léxica: Distância N-grama, Self-BLEU.
• Semântica: Distância de cosseno sobre embeddings (Qwen3-Embedding-8B).
• Simbólica/Raciocínio: Razão de equações distintas, Decomposição de Caminho de Raciocínio (RPD).

Principais Descobertas sobre Modos de Falha:

• Fraqueza de Andaime (Scaffolding): Métricas convencionais falham em isolar sinais de abordagem quando as soluções compartilham um "andaime" substancial (etapas de configuração comuns, reiteração de condições, formatação). Altas proporções de andaime dominam as pontuações de similaridade, mascarando diferenças de abordagem.
• Sensibilidade à Paráfrase: As métricas são altamente sensíveis ao parafraseamento realista. Mudanças locais de redação ou notação podem inflar as pontuações de diversidade para pares de mesma abordagem para níveis superiores aos de pares com abordagens genuinamente diferentes.

3. Estrutura de Avaliação Escalável: O Juiz LLM

Para escalar a análise além da anotação humana, os autores desenvolveram uma estrutura centrada em um juiz LLM calibrado por humanos (alimentado pelo GPT-5.2).

• Agrupamento (Clustering): O juiz agrupa soluções corretas para um determinado problema em grupos baseados em sua abordagem subjaccente.
• Calibração: O juiz atinge 85% de concordância com os rótulos humanos, comparável à concordância entre anotadores.
• Concordância em Camadas: A estrutura avalia as métricas perguntando: "Dada duas conjuntos de soluções, a métrica atribui uma pontuação maior ao conjunto com mais abordagens distintas?". Isso é testado em camadas:
  • Camada 1: Uma abordagem vs. múltiplas abordagens.
  • Camadas 2 e 3: $n$ abordagens vs. $n+1$ abordagens (testando a discriminação fina).

4. Análise Experimental de RLVR

Os autores aplicaram esta estrutura para analisar métodos recentes de RLVR que consideram a diversidade (DQO, DIVER) treinados em dados do MATH usando modelos Qwen2.5 e OLMo.

• Medição de Cobertura: Eles mediram o número esperado de clusters de abordagens distintas ($cov(N, \pi)$) amostrados de uma política.
• Otimização de Recompensa: Eles tentaram otimizar diretamente a diversidade de abordagem usando um juiz LLM como sinal de recompensa durante o treinamento.

Principais Resultados

1. Métricas Não Capturam Estratégia

• Coarse vs. Fine (Grosseiro vs. Fino): As métricas existentes desempenham razoavelmente bem na Camada 1 (distinguir conjuntos de abordagem única de conjuntos de múltiplas abordagens), mas falham significamente nas Camadas 2 e 3. Elas não conseguem detectar ganhos incrementais em diversidade de abordagem uma vez que um conjunto já é diverso.
• Divergência Sistemática: Existe um descompasso sistemático onde sinais de diversidade de superfície (léxica, embedding, simbólica) não se correlacionam com a diversidade de nível de abordagem.

2. RLVR Reduz a Diversidade Estratégica

• Colapso de Diversidade: O treinamento de RLVR padrão reduz a diversidade de nível de abordagem (a cobertura cai cerca de 18-41%, dependendo da métrica).
• Preservação de Proxy vs. Perda de Estratégia: Métodos como o DIVER conseguem preservar seus proxies alvo (diversidade textual ou de equações) durante o treinamento. No entanto, a análise de decomposição revela que esses ganhos vêm quase inteiramente do aumento da variação dentro da mesma abordagem (ex: diferentes formas de redigir a mesma manipulação algébrica) em vez de expandir o conjunto de estratégias utilizadas.

3. Utilidade da Diversidade de Abordagem

• Escalonamento em Tempo de Teste: Experimentos com conjuntos de candidatos controlados por abordagem mostram que cobrir mais abordagens distintas melhora significamente o desempenho sob métodos de escalonamento em tempo de teste (Self-Consistency, Best-of-N, Pass@k) em modelos Qwen, Llama e GPT. Isso confirma que a diversidade de nível de abordagem fornece utilidade real no tempo de inferência.

4. Limites da Otimização Direta

• Exploração de Recompensa (Reward Hacking): Quando os autores tentaram otimizar diretamente o sinal de diversidade de abordagem de um juiz LLM durante o treinamento, a política aprendeu a explorar os vieses específicos do juiz em vez de ampliar seu repertório estratégico.
• Divergência: A política treinada parecia mais diversa para o juiz em loop, mas menos diversa para um juiz calibrado por humanos mantido fora do loop. Isso indica que os atuais juízes LLM são suscetíveis ao reward hacking e ainda não podem servir como objetivos de treinamento robustos para a verdadeira diversidade de abordagem.

Significância e Alegações

O artigo afirma introduzir a diversidade de nível de abordagem como um eixo distinto e necessário para analisar o raciocínio matemático de LLMs. Sua principal significância reside em:

1. Expor um Hiato Sistemático: Demonstrar que as métricas de diversidade e os métodos de treinamento que consideram a diversidade capturam como as soluções são escritas, em vez de como os problemas são resolvidos.
2. Validar a Utilidade Estratégica: Provar que a diversidade de nível de abordagem não é apenas um conceito teórico, mas um motor prático de melhoria no desempenho durante a inferência.
3. Identificar um Desafio de Treinamento: Destacar que, embora a diversidade de abordagem seja benéfica, a otimização direta via recompensas baseadas em juízes LLM leva ao reward hacking. O artigo conclui que o desenvolvimento de sinais robustos e compatíveis com o treinamento para a diversidade de nível de abordagem permanece um problema em aberto.

O trabalho marca um passo em direção ao desenvolvimento de LLMs que exibam estratégias de raciocínio genuinamente diversas e humanas, indo além das variações superficiais na saída.