DTO: a Differentiable Training Objective for Effective Counterfactual Story Rewriting

Resumen Técnico: Un Objetivo de Entrenamiento Diferenciable para la Reescritura Efectiva de Historias Contrafactuales

Definición del Problema
La reescritura de historias contrafactuales es una tarea de procesamiento del lenguaje natural (PLN) que requiere que un modelo actualice una narrativa existente para reflejar un evento alternativo específico (la condición contrafactual), preservando todos los elementos de la trama no afectados y manteniendo la coherencia general. El desafío central radica en la naturaleza de las modificaciones requeridas: suelen ser muy pequeñas en tamaño y altamente localizadas. En consecuencia, los modelos entrenados con objetivos convencionales de máxima verosimilitud (log-verosimilitud negativa, NLL) tienden a pasar por alto estos matices, a menudo fallando en integrar la condición contrafactual o realizando ediciones excesivas que comprometen el flujo narrativo. Aunque los enfoques de aprendizaje por refuerzo (RL) ofrecen una vía para optimizar métricas específicas, son notoriamente lentos, difíciles de configurar y sufren de alta varianza debido al ruido de muestreo.

Metodología
Los autores proponen un nuevo Objetivo de Entrenamiento Diferenciable (DTO) que optimiza directamente el modelo generativo para los requisitos específicos de la reescritura contrafactual sin depender de gradientes de política no diferenciables.

1. Selección de Métrica: El enfoque utiliza BARTScore, una métrica de evaluación de generación de texto basada en un modelo BART preentrenado. A diferencia de las métricas basadas en n-gramas (por ejemplo, BLEU, ROUGE), BARTScore estima la log-verosimilitud de una hipótesis dada una fuente, capturando la alineación semántica y la fluidez.
2. Puntuación Delta: Para abordar la limitación de que las métricas de similitud global pueden sobrevalorar los segmentos inalterados, los autores introducen una puntuación delta ($\Delta M$). Esta puntuación se define como la diferencia entre la puntuación de la métrica de la salida generada frente a la referencia editada (contrafactual) y la puntuación frente al final original. Esta medida contrastiva recompensa explícitamente al modelo por acercarse al objetivo contrafactual en lugar del texto original. También se propone una puntuación ajustada para equilibrar la precisión absoluta con la mejora relativa.
3. Mecanismo de Diferenciabilidad: Dado que las métricas estándar y la generación de tokens discretos no son diferenciables, los autores emplean una técnica de "suavizado". En lugar de muestrear tokens discretos, el modelo generativo produce una distribución de probabilidad sobre el vocabulario. Esta distribución se multiplica por la matriz de incrustaciones del modelo BARTScore para producir una "incrustación esperada" (un token suave). Esta representación continua permite que los gradientes se retropropaguen a través del modelo BARTScore congelado directamente hacia los parámetros del modelo generativo.
4. Proceso de Entrenamiento: El modelo se ajusta fino mediante retropropagación de extremo a extremo utilizando una función de pérdida derivada del negativo de BARTScore (o de BARTScore ajustado por delta). Esto alinea la señal de entrenamiento directamente con los criterios de evaluación, evitando el ruido inducido por el muestreo asociado con los métodos de RL.

Contribuciones Clave

1. Enfoque de Entrenamiento Novel: El artículo introduce DTO, una estrategia de entrenamiento que optimiza explícitamente un modelo generativo utilizando métricas de reescritura contrafactual (específicamente puntuaciones delta basadas en BARTScore) en lugar de la verosimilitud estándar.
2. Exploración de Funciones de Recompensa: Los autores evalúan diferentes funciones de recompensa basadas en BARTScore, explorando las compensaciones entre la adherencia al final contrafactual esperado y la diferenciación del final original.
3. Validación del Rendimiento: El estudio demuestra que el enfoque DTO supera tanto a una línea base estándar de máxima verosimilitud como a un enfoque basado en preferencias (Optimización de Preferencias Contrastivas, CPO). Además, compite favorablemente con dos modelos de lenguaje grandes (LLM) contemporáneos: GPT-4o y Gemini 2.0.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos TIMETRAVEL (casi 28 mil instancias) y en el conjunto de datos ART (adaptado para tareas generativas).

• Comparación con Líneas Base: Los modelos basados en DTO (específicamente DTO-Score y DTO-Score+Delta) lograron un rendimiento superior tanto en puntuaciones predictivas (fidelidad a la referencia) como en puntuaciones contrafactuales (capacidad de incorporar la nueva condición) en comparación con las líneas base NLL y CPO, a través de las métricas BARTScore, ROUGE-L y SacreBLEU.
• Comparación con LLM: Si bien el modelo BART ajustado fino (0.4 mil millones de parámetros) no superó el rendimiento de cero disparos de GPT-4o en todas las métricas, superó significativamente a los LLM en precisión predictiva. Cabe destacar que el pequeño modelo DTO logró puntuaciones contrafactuales competitivas frente a los LLM mucho más grandes (estimados en 200 mil millones y 70 mil millones de parámetros) mientras requería una fracción de la huella computacional.
• Análisis Cualitativo: Los estudios de caso indican que el modelo DTO produce ediciones mínimas y precisas que respetan la premisa contrafactual, mientras que los LLM (especialmente en configuraciones de un solo disparo) tendían a desviarse significativamente de las instrucciones de la tarea o a "embellecer" la historia con elementos no presentes en el prompt.
• Ablación: El enfoque DTO mantuvo un rendimiento sólido incluso en un escenario "ablacionado" donde se eliminó el final original de la entrada, lo que sugiere robustez en la predicción de finales basándose únicamente en premisas y eventos.

Significado y Afirmaciones
El artículo afirma que el enfoque DTO propuesto sustenta la efectividad de los objetivos diferenciables específicos de la tarea para tareas de generación de texto matizadas y controladas. Al tratar una métrica de evaluación como parte de la señal de entrenamiento, el método logra una convergencia estable y alinea los gradientes del modelo con el objetivo final de una reescritura precisa y mínima. Los autores concluyen que un modelo de lenguaje pequeño, cuando está equipado con un objetivo de entrenamiento diferenciable efectivo, puede rendir de manera comparable a modelos de calidad comercial que son 100 a 500 veces más grandes, ofreciendo una alternativa computacionalmente eficiente para tareas especializadas de PLN.