Resumo Técnico: Autoevolução Orquestrada por Confiança (COSE)

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) autoevolutivos visam aprimorar capacidades de raciocínio gerando suas próprias tarefas de treinamento, resolvendo-as e aprendendo com feedback auto-gerado, sem depender inteiramente de supervisão curada por humanos. No entanto, existe um gargalo crítico em domínios onde as soluções não podem ser verificadas por execução (como código) ou correspondência exata (como matemática). Nessas configurações de "domínio aberto", o modelo deve atuar simultaneamente como Validador (julgando a validade da tarefa) e como Juiz (avaliando a correção da resposta).

O desafio central é o feedback auto-gerado ruidoso. Um modelo capaz de gerar tarefas difíceis pode não possuir a capacidade de validá-las corretamente ou de julgar a correção das soluções propostas. Quando o modelo endossa erroneamente uma tarefa defeituosa ou julga incorretamente uma resposta errada como correta, esses erros são convertidos em sinais de recompensa. Em loops de autoevolução padrão, esses sinais errôneos impulsionam atualizações de gradiente que reforçam padrões de raciocínio incorretos, levando a instabilidade de otimização ou degradação de desempenho. Abordagens existentes dependem ou de verificadores externos (limitando a generalidade) ou tratam todo o feedback auto-gerado como supervisão igualmente confiável, falhando em contabilizar a incerteza inerente ao processo de geração de feedback.

Metodologia: COSE

Os autores propõem o COSE (Autoevolução Orquestrada por Confiança), um framework que utiliza a confiança intrínseca do LLM como um sinal de incerteza leve para modular o processo de aprendizado. O COSE emprega um único modelo de base $\pi_\theta$ solicitado a desempenhar quatro funções: Propositor (gera perguntas), Validador (pontua a qualidade da pergunta), Resolvedor (gera respostas) e Juiz (pontua a correção da resposta).

A inovação central reside na estimativa da confiança diretamente a partir da distribuição de saída em nível de token do Validador e do Juiz durante a geração de feedback, em vez de tratar o feedback como um rótulo de verdade absoluta.

1. Estimativa de Confiança

O COSE calcula a confiança ($c$) com base na entropia normalizada da distribuição de saída do modelo em nível de token. Para um token gerado $t$ com distribuição de probabilidade $P_t$ sobre o vocabulário $\mathcal{V}$:
$$c_t = 1 - \frac{H(P_t)}{\log |\mathcal{V}|}$$
A confiança em nível de sequência ($c_{seq}$) é a média das confianças em nível de token. Esta métrica serve como uma heurística para incerteza: baixa entropia (alta confiança) implica que o modelo está certo sobre seu julgamento, enquanto alta entropia (baixa confiança) indica incerteza.

2. PPO Ponderado por Confiança

O COSE integra essas pontuações de confiança no objetivo de Otimização de Política Proximal (PPO) para escalar a contribuição de gradiente de cada amostra.

• Peso do Propositor ($w_P$): Escala as atualizações com base na qualidade da pergunta ($v$) e na confiança do Validador ($c_V$):
  $$w_P(q) = \text{clip}(v(q) \cdot c_V(q), 0.1, 1.0)$$
• Peso do Resolvedor ($w_S$): Escala as atualizações com base na qualidade da pergunta, na confiança do Validador e na confiança do Juiz ($c_J$):
  $$w_S(q, a) = \text{clip}(v(q) \cdot c_V(q) \cdot c_J(q, a), 0.1, 1.0)$$
  Ao limitar o peso em um limite inferior de 0,1 em vez de descartar completamente amostras incertas, o COSE preserva a exploração enquanto impede que feedback de alta variância e baixa confiança domine a otimização.

3. Replay Prioritário por Confiança

O buffer de replay prioriza a amostragem de perguntas que não são apenas válidas, mas também estão próximas ao limite atual de capacidade do modelo. A prioridade é definida como:
$$\text{priority}(q) \propto v(q) \cdot c_V(q) \cdot \max(4p(q)(1-p(q)), 0.1)$$
Aqui, $p(q)$ é a taxa média de resolução. O termo $4p(q)(1-p(q))$ é maximizado quando $p(q) \approx 0,5$, focando o treinamento em perguntas que o modelo consegue resolver cerca de metade das vezes (a "fronteira de aprendizado"). Os termos de confiança garantem que perguntas com validação incerta não sejam superamostradas.

Contribuições Principais

1. Identificação do Gargalo de Otimização: O artigo identifica o feedback auto-gerado ruidoso (tanto validação quanto julgamento) como um gargalo central de otimização em LLMs autoevolutivos, distinto da mera escassez de dados.
2. Formulação de Controle de Treinamento: Os autores formulam o problema como uma tarefa de controle de treinamento por amostra, onde a influência de um sinal de feedback no aprendizado é modulada por sua confiança intrínseca.
3. Validação Empírica: Através de experimentos extensivos em 19 benchmarks retidos e quatro modelos de base (famílias Qwen e Llama, de 0,6B a 4B parâmetros), os autores demonstram que o COSE melhora consistentemente os modelos base e supera ou permanece competitivo com baselines anteriores de autoevolução (AZR, MAE, R-Zero).

Resultados Experimentais

A avaliação abrange raciocínio geral, matemática e geração de código.

• Raciocínio Geral: O COSE alcança o desempenho médio mais alto em todos os quatro modelos de base. Notavelmente, nos modelos mais fracos Qwen3-0.6B e Llama-3.2-3B, o COSE produz ganhos substanciais (por exemplo, +28,5 pontos no Qwen3-0.6B), superando significativamente as baselines. Os autores atribuem isso ao fato de que modelos mais fracos produzem feedback mais ruidoso; o ponderamento por confiança do COSE efetivamente atenua o impacto desses erros, enquanto as baselines os reforçam.
• Matemática: O COSE mostra as maiores melhorias em benchmarks matemáticos difíceis (por exemplo, Olympiad-Bench, Minerva). Os resultados sugerem que o controle de confiança é particularmente vital quando o Juiz deve distinguir entre derivações plausíveis, mas incorretas, um cenário onde o autojulgamento ingênuo frequentemente falha.
• Geração de Código: Em domínios com verificação executável (código), o COSE permanece competitivo. Embora métodos que dependem de verificadores externos (como AZR) às vezes performem ligeiramente melhor em modelos de base específicos, o COSE não sofre regressão significativa. Isso indica que o ponderamento por confiança não prejudica o desempenho em domínios onde o feedback já é confiável.
• Estudos de Ablação: A remoção do PPO ponderado por confiança causa a queda de desempenho mais significativa, particularmente em matemática, confirmando que o controle da força do gradiente é o principal motor do sucesso. A remoção da prioridade de replay tem um efeito negativo menor, mas consistente.

Significado e Afirmações

O artigo afirma que a autoevolução torna-se mais eficaz quando os modelos não apenas aprendem com seu próprio feedback, mas também controlam quão fortemente o feedback incerto afeta o treinamento.

• Robustez: O COSE fornece um mecanismo para prevenir a amplificação de erros em loops de autoevolução. Permite que os modelos se beneficiem de dados auto-gerados mesmo quando o Validador/Juiz é imperfeito, desde que o modelo possa reconhecer sua própria incerteza.
• Generalização: Diferentemente de métodos restritos a domínios executáveis, o COSE permite a autoevolução em tarefas de raciocínio de domínio aberto onde verificadores externos estão indisponíveis.
• Modéstia: Os autores afirmam explicitamente que a confiança é um sinal heurístico de incerteza, não uma garantia de correção. Eles reconhecem que saídas de alta confiança ainda podem estar erradas, particularmente em problemas adversariais ou fora da distribuição. Além disso, o método depende do acesso a probabilidades em nível de token (logits), limitando sua aplicação direta a APIs de caixa preta sem estratégias de amostragem adicionais. Os experimentos são conduzidos em modelos de peso aberto relativamente pequenos (0,6B–4B), e o comportamento de escalonamento para modelos maiores permanece uma questão em aberto para trabalhos futuros.

Em resumo, o COSE representa uma mudança de tratar o feedback auto-gerado como supervisão uniforme para tratá-lo como um sinal ponderado, onde o peso é determinado pela própria confiança do modelo em produzir esse sinal. Essa abordagem estabiliza o processo de autoevolução, particularmente no regime intermediário desafiador onde os modelos estão melhorando, mas suas capacidades de autoavaliação ainda são ruidosas.