Resumen Técnico: RAFT (Refinamiento de Datos y Destilación Adaptativa para el Ajuste Fino de Dominio con Olvido Aliviado)

Planteamiento del Problema

El ajuste fino supervisado (SFT) específico de un dominio es esencial para adaptar los Modelos de Lenguaje Extensos (LLMs) a tareas especializadas, pero frecuentemente resulta en un olvido catastrófico, donde las capacidades generales del modelo se degradan significativamente. Los autores identifican dos brechas prácticas que impulsan esta degradación:

1. Brecha de Compatibilidad de Supervisión: Las respuestas de verdad fundamental (ground-truth) de un dominio suelen diferir en estilo y formato de razonamiento de las respuestas naturales del modelo. Forzar al modelo a ajustarse a estos objetivos divergentes provoca cambios abruptos en los parámetros que sobrescriben el conocimiento preentrenado.
2. Brecha de Preservación de Trayectoria: El SFT estándar optimiza para tokens objetivo fijos sin restringir el comportamiento del modelo sobre sus propios prefijos generados. Esta falta de restricción no logra preservar los patrones de comportamiento originales del modelo durante la optimización.

Los métodos existentes típicamente abordan solo un lado de este problema (por ejemplo, refinamiento de datos mediante autodestilación o restricciones de entrenamiento mediante regularización/divergencia KL), pero rara vez ambos, lo que conduce a compensaciones (trade-offs) subóptimas entre la adaptación al dominio y la retención de la capacidad general.

Metodología

RAFT propone un marco de dos etapas que acopla el refinamiento de datos con la destilación adaptativa on-policy para abordar ambas brechas simultáneamente.

1. Destilación Offline (Refinamiento de Datos)

Esta etapa construye una supervisión compatible con el modelo para reducir la disparidad de distribución entre la verdad fundamental y la distribución de salida del modelo.

• Reescritura Autocondicionada: El modelo ajustado por instrucciones original reescribe las respuestas de verdad fundamental ($y_i$) condicionada en la respuesta original misma ($\tilde{y}_i \sim p_\theta(\cdot | x_i, y_i)$), adaptando el estilo de expresión a la propia distribución del modelo mientras preserva el contenido factual.
• Filtrado Semántico: Para prevenir la deriva semántica, se calcula la similitud de coseno entre las respuestas originales y las reescritas. Las reescrituras se aceptan solo si superan un umbral $\tau$; de lo contrario, se conserva la respuesta original.
• Selección Óptima de Multi-Expertos: Para las reescrituras aceptadas, un modelo de fusión más fuerte (por ejemplo, Qwen3-3B) combina las respuestas originales y reescritas. Múltiples modelos jueces evalúan la salida fusionada para verificar la consistencia con la respuesta original, y se selecciona el resultado con la puntuación más alta como la respuesta refinada final ($\hat{y}_i$).

2. Destilación Adaptativa On-Policy (Optimización de Entrenamiento)

Esta etapa entrena al modelo utilizando el conjunto de datos refinado mientras preserva explícitamente las capacidades generales mediante restricciones de destilación.

• Destilación On-Policy Condicionada a la Respuesta: El modelo estudiante genera trayectorias ($z_i$) de forma autorregresiva. El modelo original ajustado por instrucciones actúa como profesor, proporcionando objetivos suaves (soft targets). Crucialmente, el profesor está condicionado en la respuesta fusionada ($\hat{y}_i$) como contexto adicional, lo que le permite proporcionar una guía más informativa sobre la trayectoria generada por el estudiante.
• Destilación de Temperatura Top-$K$: Para evitar el sobresuavizado (over-smoothing) y mantener la diversidad de la salida, la divergencia KL se calcula solo sobre los $K$ tokens superiores de la distribución del profesor, escalados por un parámetro de temperatura $T$.
• Balanceo Adaptativo Basado en EMA: En lugar de hiperparámetros fijos, un mecanismo de Media Móvil Exponencial (EMA) ajusta dinámicamente el peso ($\lambda$) entre la pérdida de SFT (entropía cruzada) y la pérdida de destilación (divergencia KL). Esto asegura que los dos objetivos permanezcan equilibrados durante todo el entrenamiento sin ajuste manual.

Contribuciones Clave

1. Identificación del Problema: El artículo señala el acoplamiento de la disparidad de distribución de supervisión y la falta de restricciones explícitas de preservación de trayectoria como las causas raíz del olvido en el SFT de dominio.
2. Estrategia de Destilación Offline: Introducción de un flujo de trabajo que utiliza filtrado de similitud de coseno y fusión de múltiples modelos para generar datos de supervisión de alta calidad y consistentes en distribución.
3. Destilación Adaptativa On-Policy: Un nuevo objetivo de entrenamiento que combina la destilación on-policy condicionada a la respuesta, el escalado de temperatura Top-$K$ y el balanceo de pérdida basado en EMA.
4. Validación Empírica: Demostración de que el acoplamiento del refinamiento de datos con la preservación de trayectoria a nivel de trayectoria mitiga eficazmente el olvido mientras mejora el rendimiento del dominio.

Resultados Experimentales

RAFT fue evaluado en tres arquitecturas base ajustadas por instrucciones (SmolLM3-3B, Llama-3.2-3B-Instruct, Phi-4-mini-instruct) a través de cinco dominios (Negocios, Leyes, Ciencia, Cultura, Web).

• Rendimiento del Dominio: RAFT mejoró el promedio de la Precisión de Dominio (D-Acc) en un 23.2% en comparación con el SFT estándar.
• Retención de Capacidad General: RAFT recuperó partes significativas de la degradación causada por el SFT:
  • MS-Bench (QA subjetivo): Mejoró en un 18.2% relativo al SFT.
  • IFEval (seguimiento de instrucciones): Mejoró en un 10.2% relativo al SFT.
• Estudios de Ablación:
  • Fusión de Datos: El uso de datos fusionados por sí solo mejoró la D-Acc y las métricas generales sobre los datos originales, confirmando el valor de la adaptación de estilo.
  • Destilación: Agregar la destilación on-policy adaptativa al SFT de datos fusionados proporcionó ganancias sustanciales adicionales tanto en la precisión del dominio como en la capacidad general.
  • Balanceo Adaptativo: La estrategia basada en EMA superó al coeficiente KL fijo, el cual o bien suprimía la adaptación al dominio o fallaba en preservar las capacidades generales.
• Análisis de Parámetros: El rendimiento óptimo se encontró con un umbral de similitud de coseno $\tau=0.8$, temperatura $T=1.5$ y Top-$K=512$.

Significado y Reivindicaciones

El artículo afirma que RAFT proporciona una "receta" efectiva para el ajuste fino de dominio con olvido mitigado. Al tratar el refinamiento de datos y las restricciones de entrenamiento como problemas acoplados en lugar de independientes, el marco permite que los modelos adquieran conocimiento específico del dominio sin sobrescribir sus capacidades generales preentrenadas.

Los autores enfatizan que su enfoque convierte al modelo profesor de un "ancla conservadora" en un "guía consciente del objetivo". Los resultados sugieren que el acoplamiento de una supervisión compatible con la preservación a nivel de trayectoria es una solución práctica para el compromiso (trade-off) entre especialización y generalización en los LLMs. El artículo mantiene la modestia respecto a la escalabilidad, señalando que las evaluaciones se limitaron a modelos de pequeña escala y dominios específicos, y que el rendimiento en modelos más grandes o tareas especializadas (por ejemplo, generación de código) requiere mayor investigación.