DTO: a Differentiable Training Objective for Effective Counterfactual Story Rewriting

Resumo Técnico: Um Objetivo de Treinamento Diferenciável para Reescrita Eficiente de Histórias Contrafactuais

Definição do Problema
A reescrita de histórias contrafactuais é uma tarefa de processamento de linguagem natural (PLN) que exige que um modelo atualize uma narrativa existente para refletir um evento alternativo específico (a condição contrafactual), preservando todos os elementos da trama não afetados e mantendo a coerência geral. O desafio central reside na natureza das modificações requeridas: elas são tipicamente muito pequenas em tamanho e altamente localizadas. Consequentemente, modelos treinados com objetivos convencionais de máxima verossimilhança (negativo da log-verossimilhança, NLL) tendem a negligenciar essas nuances, frequentemente falhando em integrar a condição contrafactual ou realizando edições excessivas que comprometem o fluxo narrativo. Embora abordagens de aprendizado por reforço (RL) ofereçam uma maneira de otimizar métricas específicas, elas são notoriamente lentas, difíceis de configurar e sofrem de alta variância devido ao ruído de amostragem.

Metodologia
Os autores propõem um Objetivo de Treinamento Diferenciável (DTO) inovador que otimiza diretamente o modelo generativo para os requisitos específicos da reescrita contrafactual, sem depender de gradientes de política não diferenciáveis.

1. Seleção de Métrica: A abordagem utiliza o BARTScore, uma métrica de avaliação de geração de texto baseada em um modelo BART pré-treinado. Diferentemente de métricas baseadas em n-gramas (por exemplo, BLEU, ROUGE), o BARTScore estima a log-verossimilhança de uma hipótese dada uma fonte, capturando o alinhamento semântico e a fluência.
2. Pontuação Delta: Para abordar a limitação de que métricas de similaridade global podem supervalorizar segmentos inalterados, os autores introduzem uma pontuação delta ($\Delta M$). Esta pontuação é definida como a diferença entre a pontuação da métrica da saída gerada em relação à referência editada (contrafactual) e a pontuação em relação ao final original. Essa medida contrastiva recompensa explicitamente o modelo por se aproximar do alvo contrafactual em vez do texto original. Uma pontuação ajustada também é proposta para equilibrar a precisão absoluta com a melhoria relativa.
3. Mecanismo de Diferenciabilidade: Como métricas padrão e a geração de tokens discretos são não diferenciáveis, os autores empregam uma técnica de "suavização". Em vez de amostrar tokens discretos, o modelo generativo produz uma distribuição de probabilidade sobre o vocabulário. Essa distribuição é multiplicada pela matriz de incorporação do modelo BARTScore para produzir uma "incorporação esperada" (um token suave). Essa representação contínua permite que os gradientes sejam retropropagados através do modelo BARTScore congelado diretamente para os parâmetros do modelo generativo.
4. Processo de Treinamento: O modelo é ajustado (fine-tuned) via retropropagação de ponta a ponta usando uma função de perda derivada do negativo do BARTScore (ou do BARTScore ajustado por delta). Isso alinha o sinal de treinamento diretamente com os critérios de avaliação, evitando o ruído induzido pela amostragem associado aos métodos de RL.

Principais Contribuições

1. Abordagem de Treinamento Inovadora: O artigo introduz o DTO, uma estratégia de treinamento que otimiza explicitamente um modelo generativo usando métricas de reescrita contrafactual (especificamente pontuações delta baseadas em BARTScore) em vez da verossimilhança padrão.
2. Exploração da Função de Recompensa: Os autores avaliam diferentes funções de recompensa baseadas em BARTScore, explorando os trade-offs entre a adesão ao final contrafactual esperado e a diferenciação do final original.
3. Validação de Desempenho: O estudo demonstra que a abordagem DTO supera tanto uma linha de base padrão de máxima verossimilhança quanto uma abordagem baseada em preferências (Otimização de Preferência Contrastiva, CPO). Além disso, desempenha de forma competitiva contra dois modelos de linguagem grandes (LLMs) contemporâneos: GPT-4o e Gemini 2.0.

Resultados Experimentais
Os experimentos foram conduzidos no conjunto de dados TIMETRAVEL (quase 28 mil instâncias) e no conjunto de dados ART (adaptado para tarefas generativas).

• Comparação com Linhas de Base: Os modelos baseados em DTO (especificamente DTO-Score e DTO-Score+Delta) alcançaram desempenho superior tanto em pontuações preditivas (fidelidade à referência) quanto em pontuações contrafactuais (capacidade de incorporar a nova condição) em comparação com as linhas de base NLL e CPO, através das métricas BARTScore, ROUGE-L e SacreBLEU.
• Comparação com LLMs: Embora o modelo BART ajustado (0,4 bilhão de parâmetros) não tenha superado o desempenho zero-shot do GPT-4o em todas as métricas, ele superou significativamente os LLMs em precisão preditiva. Notavelmente, o pequeno modelo DTO alcançou pontuações contrafactuais competitivas em relação aos LLMs muito maiores (estimados em 200 bilhões e 70 bilhões de parâmetros), enquanto exigia uma fração da pegada computacional.
• Análise Qualitativa: Estudos de caso indicam que o modelo DTO produz edições mínimas e precisas que respeitam a premissa contrafactual, enquanto os LLMs (especialmente em configurações one-shot) tendiam a desviar-se significativamente das instruções da tarefa ou "enfeitar" a história com elementos não presentes no prompt.
• Ablação: A abordagem DTO manteve desempenho forte mesmo em um cenário "ablatado" onde o final original foi removido da entrada, sugerindo robustez na previsão de finais baseados apenas em premissas e eventos.

Significado e Alegações
O artigo alega que a abordagem DTO proposta sublinha a eficácia de objetivos diferenciáveis específicos da tarefa para tarefas de geração de texto controladas e nuances. Ao tratar uma métrica de avaliação como parte do sinal de treinamento, o método alcança convergência estável e alinha os gradientes do modelo com o objetivo final de uma reescrita precisa, porém mínima. Os autores concluem que um modelo de linguagem pequeno, quando equipado com um objetivo de treinamento diferenciável eficaz, pode desempenhar de forma comparável a modelos de nível comercial que são 100 a 500 vezes maiores, oferecendo uma alternativa computacionalmente eficiente para tarefas especializadas de PLN.