Resumo Técnico: Desvinculando a Síntese de Fonte Fixa da Expansão de Fonte na Escala de Dados Sintéticos

Declaração do Problema

Dados sintéticos tornaram-se um componente padrão para o treinamento de grandes modelos de linguagem (LLMs), com o desempenho a jusante escalando previsivelmente com o tamanho do conjunto de dados. No entanto, estudos de escala existentes frequentemente confundem duas rotas distintas para expandir conjuntos de dados sintéticos:

1. Expansão de Fonte (SE - Source Expansion): Ampliar as fontes de informação adicionando materiais semente (ex: novos documentos ou perguntas) ou mudando para geradores mais fortes.
2. Síntese de Fonte Fixa (FSS - Fixed-Source Synthesis): Manter a fonte (perguntas semente e modelo professor) fixa enquanto se escala o orçamento de geração (ou seja, gerando mais respostas por semente).

Trabalhos anteriores focam predominantemente em SE, deixando os retornos de FSS subexplorados. Este artigo visa isolar FSS para determinar seus limites de escala, derivar uma lei de escala preditiva para ela e comparar sua eficácia contra SE e vários protocolos de síntese sob orçamentos de amostras totais equivalentes.

Metodologia

Os autores modelam o pipeline de dados sintéticos como uma tríade $(Q, T, p)$, onde $Q$ é um pool de perguntas semente, $T$ é um modelo professor e $p$ é um protocolo de síntese. Eles isolam FSS fixando $(Q, T)$ e variando apenas o orçamento de resposta por pergunta $r$ via Rejeição por Amostragem (RS).

Configuração Experimental:

• Domínios: Matemática e Física (do SuperGPQA).
• Modelos: O professor primário é o DeepSeek-V3.1 ($T_{DS}$); o aluno primário é o Qwen2-7B-Instruct ($S_{Q7}$). Verificações de par cruzado utilizam Qwen2.5-72B ($T_{Q72}$) e Llama-3.1-8B ($S_{L8}$).
• Protocolo de Linha de Base (Baseline): RS com temperatura 1.2, coletando até 32 respostas corretas por pergunta semente.
• Métrica de Avaliação: Mean@8 (a fração média de respostas corretas ao amostrar 8 saídas do aluno com temperatura 0.7).
• Escala: O estudo envolveu aproximadamente 2 bilhões de tokens de inferência do professor e mais de 500 execuções de ajuste fino (fine-tuning) do aluno.

Questões de Pesquisa (RQs):

1. RQ1 (Escala de FSS): Com $(Q, T)$ fixos, o FSS melhora a precisão do aluno e como o ganho escala com $r$?
2. RQ2 (SE vs. FSS): Em orçamentos de amostras totais equivalentes, como os ganhos de SE (adicionando sementes) se comparam aos de FSS (aumentando $r$)?
3. RQ3 (Eficácia do Protocolo): Dentro de FSS, protocolos avançados de síntese (diversificação, seleção, reescrita) superam o RS simples?

Contribuições Principidas e Resultados

1. Lei de Escala de FSS e Retornos Decrescentes (RQ1)

Os autores derivam uma forma de escala específica para FSS baseada na "visão de quanta" do aprendizado, onde características são cobertas de forma binária (aprendidas ou não). Diferente das leis de escala padrão onde o tamanho dos dados é o eixo, o FSS escala uma fonte fixa.

• Forma Derivada: O desempenho $P(r)$ segue uma queda de lei de potência em direção a um teto determinado pela fonte:
  $$P(r) \approx P_{\infty} - A r^{-\alpha}$$
  Aqui, $P_{\infty}$ é o teto determinado pela fonte fixa $(Q, T)$, não o ruído intrínseco da tarefa.
• Descobertas: O FSS melhora consistentemente a precisão do aluno, mas os ganhos diminuem rapidamente à medida que $r$ aumenta. A curva satura mais cedo para professores mais fracos.
• Predição: Uma forma ajustada em baixos orçamentos ($r \le 16$) prevê com sucesso o desempenho no orçamento mais alto retido ($r=32$) para todos os pares professor-aluno.

2. A Expansão de Fonte Supera a Escala de Fonte Fixa (RQ2)

O estudo compara SE (aumentando o número de perguntas semente $|Q|$) contra FSS (aumentando as respostas $r$) em contagens de amostras totais ($B = |Q| \times r$) equivalentes.

• Descobertas: Em pequenos orçamentos, SE e FSS são comparáveis. No entanto, conforme o orçamento cresce, a expansão do conjunto de perguntas semente reais (SE) supera significativamente o gasto do mesmo orçamento em mais respostas de menos sementes.
• Síntese de Perguntas: Sintetizar novas perguntas a partir de sementes existentes (uma variante de FSS) não gera ganho sobre o RS simples quando pareados no número total de amostras. O benefício aparente da síntese de prompts em trabalhos anteriores é atribuído a efeitos de orçamento, e não à qualidade da síntese.

3. Eficácia Limitada de Protocolos de Síntese (RQ3)

Sob $(Q, T)$ fixos, os autores avaliaram vários protocolos contra o RS simples, incluindo:

• Variantes de temperatura (0.6, 0.001).
• Seleção de diversidade baseada em embeddings.
• Prompting de persona.
• Filtragem sem juiz (admitindo traços errados).
• Reparo de nível de traço (reescrever $\to$ verificar $\to$ corrigir).
• Descobertas: Embora esses protocolos tenham alterado com sucesso suas métricas intrínsecas visadas (ex: diversidade, níveis de ruído), nenhum melhorou consistentemente o desempenho do aluno sobre o RS simples através da variação de orçamento. Os ganhos de mudanças de protocolo são negligenciáveis uma vez que a fonte está fixa.

4. Robustez em Fontes Heterogêneas

Experimentos em um dataset STEM misto confirmaram que o limite de FSS persiste mesmo com fontes heterogêneas. Em orçamentos equivalentes, aumentar a cobertura de perguntas semente reais (SE) continua sendo superior a aumentar a contagem de respostas em um pool menor.

Significância e Alegações

O artigo afirma fornecer um ambiente controlado para avaliar a escala de dados sintéticos ao desvincular a expansão de fonte da síntese dentro da fonte.

• Escala Limitada: O FSS é um eixo de escala limitado. Ele melhora o desempenho, mas é limitado pelo "teto da fonte" ($P_{\infty}$) definido pelo pool de sementes e pela força do professor.
• Avaliação de Protocolo: O cenário de fonte fixa serve como um controle rigoroso para comparar protocolos de síntese. Os autores descobrem que, sob fontes fixas, as variações de protocolo contribuem pouco comparadas à escolha fundamental de expansão de fonte.
• Alocação de Recursos: Para profissionais, os resultados sugerem que, ao escalar dados sintéticos, adicionar novas perguntas semente diversas (Expansão de Fonte) é uma estratégia mais confiável do que simplesmente aumentar o orçamento de geração em um conjunto fixo de sementes ou confiar em protocolos de síntese complexos.

Os autores concluem que atribuições anteriores de ganhos à "escala de dados sintéticos" frequentemente confundiram os benefícios da expansão de fonte com os de aumento de amostragem ou refinamento de protocolo. Ao isolar o FSS, eles demonstram que, embora seja uma rota de escala válida, ela é inerentemente limitada e menos eficaz do que expandir o suporte da fonte.