Resumo Técnico: Aprendizado por Reforço Semi-Offline para Geração de Texto Otimizada

Definição do Problema

O Aprendizado por Reforço (RL) para geração de texto enfrenta atualmente uma dicotomia entre as configurações online e offline, cada uma com trade-offs significativos:

• RL Online: Permite que o modelo de linguagem (LM) explore totalmente o ambiente ao amostrar a partir de sua distribuição de saída. Embora isso proporcione uma compreensão abrangente do objetivo final (ex: ROUGE, feedback humano), incorre em custos de otimização proibitivos. Especificamente, otimizar com $K$ amostras requer $K \times T$ propagações para frente (FPs) através do modelo, onde $T$ é o comprimento da sequência. Isso é frequentemente impraticável para grandes modelos pré-treinados.
• RL Offline: Utiliza um conjunto de dados estático (ex: ground truth ou saídas de beam-search) para eliminar a necessidade de geração autorregressiva durante o treinamento. Isso reduz o custo de $K \times T$ FPs para $K$ FPs. No entanto, sacrifica a capacidade de exploração; o modelo apenas visualiza sinais de recompensa para pontos de dados estáticos específicos, impedindo a descoberta de direções de geração ideais fora da distribuição estática.

A questão fundamental de pesquisa abordada é: Podemos refinar a configuração de RL para alcançar uma exploração eficaz com o mínimo de custo de otimização?

Metodologia: RL Semi-Offline

Os autores propõem o RL Semi-Offline, um novo paradigma que preenche a lacuna entre as configurações online e offline ao definir um espaço de design contínuo controlado por um hiperparâmetro $p_m \in [0, 1]$.

1. Formulação de MDP Semi-Offline

O método baseia-se em um Processo de Decisão de Markov (MDP) onde uma amostra é composta pela mistura de tokens gerados pelo modelo de linguagem e tokens de um conjunto de dados estático.

• Estado ($s_t$): Inclui o input $x$, a saída parcialmente derivada e uma sequência de máscara binária $M_0, \dots, M_t$.
• Transição: Em cada passo $t$, uma variável de Bernoulli $M_{t+1} \sim \text{Bernoulli}(p_m)$ determina a origem do próximo token:
  • Se $M_{t+1} = 1$: O agente amostra um token $\hat{y}_t$ do LM (exploração).
  • Se $M_{t+1} = 0$: O agente utiliza um token $y_t$ do conjunto de dados estático (explotação).
• Análise de Custo: Em um cenário totalmente observável, o número esperado de FPs é $E(C_t) = t \cdot p_m$. Ao definir $p_m \in (0, 1)$, o método equilibra a capacidade de exploração com um custo de otimização intermediário.

2. Configuração de RL Ótima: Observações Mascaradas

Para alcançar o mínimo custo de otimização (especificamente 1 FP por input, independentemente do número de amostras) mantendo a exploração, os autores migram para uma formulação de Processo de Decisão de Markov Parcialmente Observável (POMDP).

• Restrição: Para permitir a geração paralela (1 FP), a ação do agente não pode depender de tokens gerados simultaneamente pelo modelo.
• Observação Ótima ($o^*_t$): Os autores provam que a observação ótima satisfaz três propriedades desejáveis (DP1-DP3):
  1. Mínimo Custo de Otimização: Alcançado por 1 FP.
  2. Mínimo Viés Assintótico: Requer a retenção de toda a informação necessária para prever o estado.
  3. Mínimo Erro de Overfitting: Requer a minimização de informação redundante na observação.
• Implementação: A configuração ótima é realizada por Observações Mascaradas. O input para o LM consiste no source $x$ e na sequência alvo onde os tokens gerados pelo modelo são substituídos por um token de máscara especial $[M]$, enquanto os tokens do conjunto de dados estático permanecem visíveis.
  • $y^M_t = [M]$ se $M_t=1$ (modelo gera).
  • $y^M_t = y_t$ se $M_t=0$ (dados estáticos utilizados).
  • Isso permite que o modelo explore $K$ trajetórias diferentes simultaneamente usando uma única passagem para frente, pois a observação permanece constante entre as amostras.

3. Estratégia de Otimização

• Função de Perda: O modelo é otimizado usando uma abordagem de gradiente de política (REINFORCE com baseline). A perda é decomposta em recompensas por token, permitindo a estimativa eficiente da vantagem de gerar tokens específicos sob a observação mascarada.
• Protocolo de Treinamento:
  1. Pré-treinamento: Ajustar o LM pré-treinado no ground truth com alguns tokens mascarados (M-FT) para adaptar o modelo ao formato de entrada mascarado.
  2. Treinamento de RL: Minimizar uma perda combinada $L = L_{MLE} + \lambda L_{RL}$, onde $L_{MLE}$ evita o desvio da política (policy drift) em relação ao dataset original, e $L_{RL}$ otimiza o objetivo específico (ex: ROUGE).

Principais Contribuições

1. Definição de RL Semi-Offline: O artigo define um espaço de design teórico que transita suavemente entre o RL offline e o online, fornecendo uma base para comparar diferentes configurações com base na capacidade de exploração e custo de otimização.
2. Otimalidade Teórica: Os autores derivam a configuração de RL teoricamente ótima (Observações Mascaradas) que satisfaz o mínimo custo de otimização, o mínimo viés assintótico e os limites mínimos de erro de overfitting.
3. Implementação Eficiente: Eles demonstram que essa configuração ótima pode ser implementada misturando dados estáticos com tokens de máscara, permitindo a exploração de $K$ amostras com apenas uma passagem para frente.
4. Validação Empírica: Experimentos extensos mostram que o método produz resultados comparáveis ou superiores aos métodos de estado da arte (incluindo Actor-Critic online e BRIO offline) enquanto reduz significativamente o tempo de treinamento e o custo computacional.

Resultados Experimentais

O método foi avaliado em quatro tarefas de geração de texto: CNN/DM e SAMSum (sumarização), SQuAD (geração de perguntas) e XSum (sumarização extrema).

• Performance vs. Custo: O método proposto ("OURS") alcançou resultados melhores ou comparáveis aos métodos de estado da arte (ex: BRIO, AVG, SC, AC) enquanto exigia apenas $N$ propagações para frente (onde $N$ é o número de instâncias), enquanto métodos online de múltiplas amostras exigiam $N \times T$ ou $N \times K \times T$ propagações.
• Eficiência: Nos datasets SQuAD e SAMSum, o método semi-offline demonstrou a velocidade de otimização mais rápida e o menor consumo de tempo de treinamento em comparação com BRIO e AVG.
• Estudos de Ablação:
  • Remover a informação de máscara (violando o Lemma 1) levou a quedas de performance devido à estimativa imprecisa da recompensa.
  • Adicionar informação redundante (violando o Lemma 2) levou a overfitting e menor performance no conjunto de teste.
  • Usar datasets estáticos "mais difíceis" (DATA-, candidatos de métrica inferior) para exploração rendeu melhores resultados do que usar candidatos de alta qualidade (DATA+), sugerindo que explorar a vizinhança de pontos subótimos ajuda a identificar direções de melhoria.

Significância e Alegações

O artigo afirma que o RL Semi-Offline fornece uma fundação teórica para comparar configurações de RL e oferece uma solução prática para o alto custo computacional do RL online. Ao utilizar uma estratégia de observação mascarada, o método permite que grandes modelos de linguagem pré-treinados explorem o ambiente e otimizem objetivos complexos (como feedback humano ou ROUGE) com a eficiência do treinamento offline. Os autores afirmam que esta abordagem permite que os modelos identifiquem melhores direções de melhoria do que os métodos puramente offline, evitando, ao mesmo tempo, os custos de tempo proibitivos da exploração totalmente online.