Resumo Técnico: Escapando da Loteria de Modos: O Treinamento de Múltiplas Respostas Melhora a Generalização de Modelos de Linguagem

Declaração do Problema

O ajuste fino de modelos de linguagem modernos geralmente adere a uma convenção de parear um único prompt com uma única resposta. Embora adequado para tarefas de classificação, essa abordagem é inadequada para geração de conteúdo aberto, onde os prompts frequentemente admitem múltiplas conclusões válidas (ex: "escreva uma função que ordene uma lista"). Ao treinar em apenas uma resposta por prompt, o modelo é exposto a uma fatia estreita de uma distribuição condicional multimodal. Os autores denominam esse fenômeno como a "loteria de modos", onde os dados de treinamento podem enfatizar repetidamente um subconjunto de modos plausíveis (frequentemente os mais comuns, mais fáceis de gerar ou com maior recompensa), enquanto deixa outros modos válidos e valiosos estatisticamente invisíveis.

Pipelines existentes frequentemente geram múltiplos candidatos, mas selecionam uma única resposta "melhor" para o treinamento (ex: via maximização de recompensa). Este artigo argumenta que a área carece de uma explicação fundamentada sobre quando a retenção de múltiplas respostas é benéfica, quanto ganho pode ser esperado e quais respostas devem ser retidas.

Metodologia e Estrutura Teórica

O artigo formaliza o Treinamento de Múltiplas Respostas (MRT) como o treinamento em $K > 1$ respostas por prompt, contrastando-o com o Treinamento de Resposta Única Padrão (SRT, onde $K=1$). O insight teórico central é que prompts e respostas são recursos estatísticos distintos:

• Prompts adicionais reduzem a incerteza sobre a distribuição marginal de entrada ($P(x)$).
• Respostas adicionais ao mesmo prompt reduzem a incerteza sobre a distribuição de saída condicional ($P(y|x)$).

1. Lei do Orçamento de Variância

Os autores derivam uma decomposição estrutural da variância do estimador empírico. Para um modelo fixo $\theta$, a variância do estimador MRT decompõe-se como:
$$\text{Var}[\hat{L}_{MRT}(\theta)] = \frac{V_x(\theta)}{N_p} + \frac{V_{y|x}(\theta)}{N_p K}$$
Onde:

• $V_x$ é a variância entre prompts (incerteza sobre a distribuição de entrada).
• $V_{y|x}$ é a variância esperada dentro do prompt (incerteza sobre a distribuição de saída condicional).
• $N_p$ é o número de prompts distintos.
• $K$ é o número de respostas por prompt.

Esta decomposição revela um "piso de prompt": aumentar $K$ reduz o segundo termo, mas não pode reduzir o primeiro termo ($V_x/N_p$). Consequentemente, o MRT produz retornos decrescentes assim que a incerteza ao nível do prompt domina.

Ao introduzir custos de aquisição ($C_p$ para prompts, $C_r$ para respostas) e um orçamento fixo $B = N_p(C_p + K C_r)$, os autores derivam a multiplicidade ótima consciente do custo $K^\star$:
$$K^\star = \sqrt{\frac{V_{y|x}}{V_x} \cdot \frac{C_p}{C_r}}$$
Esta regra sugere que o MRT é mais valioso quando as respostas são baratas, os prompts são caros e a distribuição de resposta condicional é altamente diversa (alta $V_{y|x}/V_x$).

2. Limites de Generalização

O artigo fornece dois limites de generalização complementares para quantificar os ganhos potenciais:

• Limite de Bernstein: Mostra que, para um modelo fixo, aumentar $K$ reduz o limite do erro de generalização por um fator dependente de $V_{y|x}/K$, enquanto o termo de nível de prompt permanece inalterado.
• Limite de Rademacher Hierárquico: Aborda a estrutura não-i.i.d. dos dados de MRT (prompts repetidos). Prova que, apesar da estrutura hierárquica, a complexidade ao nível da resposta escala com o número total de pares prompt-resposta ($N_p K$), em vez de apenas $K$, desde que o supremo sobre a classe de modelos seja tratado corretamente. Isso certifica que os ganhos do MRT sobrevivem à seleção de modelos.

3. Seleção de Resposta Consciente do Alvo

O artigo analisa como diferentes estratégias de seleção alteram o alvo de treinamento:

• Random-K-of-N (RKoN): Amostra $K$ respostas uniformemente ao acaso. Este é o padrão imparcial para ajuste fino de distribuição, preservando a distribuição de candidatos e reduzindo a variância do gradiente a uma taxa de $1/K$.
• Best-K-of-N (BKoN): Seleciona respostas baseadas em pontuações de recompensa. Os autores mostem que isso induz um viés persistente de cauda superior. À medida que o pool de candidatos cresce, o BKoN concentra o treinamento no modo dominante da recompensa, potencialmente colapsando modos válidos e desalinhando os gradientes com o objetivo distributivo real.
• GRADES (Greedy Reward-Aware DiversE Subsetting): Uma abordagem de otimização submodular que equilibra qualidade e diversidade. Fornece uma garantia de aproximação de $(1 - 1/e)$ para reter um equilíbrio de respostas de alta qualidade e diversas, atuando como um proxy prático para amostragem estratificada.

Resultados Experimentais

Os autores validam sua teoria através de simulações controladas e ajuste fino de LLMs em larga escala em quatro domínios: seguimento de instruções (Gold), diálogo (Nectar), alinhamento de preferência (UltraFeedback) e geração de código (CodeContests).

1. Decomposição de Variância: Simulações controladas confirmaram que aumentar $K$ reduz apenas o componente de variância dentro do prompt, aproximando-se assintoticamente do piso de prompt previsto.
2. Multiplicidade Ótima: Sob um orçamento fixo, o desempenho nos testes seguiu uma curva em forma de U, com o mínimo ocorrendo próximo ao previsto $K^\star$. Conjuntos de dados com alta variabilidade de resposta em relação à variabilidade de prompt (ex: CodeContests) mostraram os maiores ganhos com o MRT, enquanto conjuntos de dados pesados em prompts (ex: Nectar) mostraram menores melhorias.
3. Impacto do Seletor:
   • RKoN consistentemente melhorou a perda de referência (ajuste à distribuição condicional) e a cobertura conforme $K$ aumentava.
   • BKoN alcançou pontuações de recompensa mais altas, mas sofreu com menor diversidade e pior verossimilhança de referência, confirmando o desvio de alvo.
   • GRADES/DBKoN (Diverse-Best-K-of-N) conseguiu equilibrar qualidade e cobertura, superando a seleção pura de diversidade ou de recompensa em métricas de cobertura de referência.
4. MRT Implícito: Experimentos com redundância de prompts (paráfrases) demonstraram que corpora altamente redundantes podem mimetizar efeitos de MRT se as paráfrases expuserem modos condicionais distintos. No entanto, se as paráfrases forem pareadas com respostas quase duplicadas, o benefício é negligenciável.

Significância e Alegações

O artigo reformula a multiplicidade de resposta não como uma heurística, mas como um problema de alocação de dados com orientação estatística clara. Suas principais alegações são:

1. Valor Dependente de Contexto: O MRT não é universalmente superior; seu valor é contingente à razão entre a variância dentro do prompt e a variância entre prompts e ao custo relativo de aquisição de dados.
2. Fundamentação Estatística: Quando as respostas são baratas e diversas, e os prompts são caros, reter múltiplas respostas é uma escolha estatisticamente fundamentada que escapa da "loteria de modos" ao treinar em mais da estrutura condicional.
3. A Seleção Importa: A escolha do seletor é crítica. Enquanto um seletor baseado em recompensa otimiza para uma métrica específica, ele pode colapsar modos válidos. Para generalização distributiva, é necessária uma seleção imparcial (RKoN) ou uma seleção consciente da diversidade (GRADES).
4. Implícito vs. Explícito: Corpora grandes e redundantes podem fornecer um efeito de "MRT implícito", mas o treinamento de múltiplas respostas explícito é mais benéfico em regimes de baixa redundância, onde cada prompt cobre uma região distinta da distribuição da tarefa.

Os autores concluem que o MRT oferece uma maneira fundamentada de decidir quando a multiplicidade de respostas vale o custo, indo além da convenção "um prompt, uma resposta" para melhor modelar a natureza multimodal da geração de conteúdo aberto.