Resumen Técnico: RoCo-ACE

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) requieren actualizaciones para absorber nuevo conocimiento factual o específico de un dominio tras su despliegue. Sin embargo, las estrategias estándar de inyección de conocimiento enfrentan un intercambio fundamental entre inyección y retención (injection-retention trade-off):

• Ajuste Directo (SFT/LoRA): Optimizar directamente sobre respuestas autoritativas mejora la precisión del conocimiento inyectado, pero suele causar una deriva significativa en comportamientos no actualizados (p. ej., fundamentación visual, seguridad, razonamiento general) debido a la imitación de respuestas completas y al sobreajuste de estilo.
• Actualizaciones Restringidas: Los métodos que restringen el espacio de actualización (p. ej., variantes de LoRA, restricciones de espacio nulo) limitan la deriva, pero a menudo fallan en localizar la supervisión en unidades factuales específicas, lo que resulta en una sub-inyección de los hechos objetivo.
• Destilación en Línea (Online Distillation): Entrenar sobre rollouts generados por el modelo en lugar de objetivos fijos mantiene las actualizaciones cerca de la política actual. Sin embargo, la destilación condicionada a la referencia uniforme proporciona una supervisión gruesa. Esta asigna masa de gradiente indiscriminadamente a la redacción genérica, detalles visuales no objetivo y el estilo de la respuesta, mientras que subestima los tokens respaldados por la referencia y proporciona solo una supervisión indirecta para los hechos omitidos en el rollout actual.

El desafío central es lograr una supervisión de grano fino que actualice anclajes factuales específicos sin obligar al modelo a clonar toda la respuesta de referencia o degradar sus capacidades generales.

Metodología: RoCo-ACE

Los autores proponen RoCo-ACE, un objetivo de destilación en línea condicionado al rollout diseñado para inyectar contenido factual disperso preservando la retención. El método opera sobre un conjunto de datos de prompts ($x_i$), imágenes ($I_i$) y respuestas de referencia autoritativas ($a_i$). Para cada ejemplo, el modelo estudiante $p_\theta$ genera un rollout on-policy $y_i$.

El objetivo combina dos componentes complementarios:

1. RoCo: Destilación en Línea Contrastiva Condicionada al Rollout

RoCo aborda el problema de la granularidad de la supervisión para los tokens ya presentes en el rollout del estudiante. Utiliza un modelo profesor $q_\phi$ (una media móvil exponencial del estudiante) para puntuar el mismo prefijo del rollout bajo dos condiciones:

• Vista Base ($q_{base}$): Prompt con la entrada del usuario y la imagen únicamente.
• Vista de Referencia ($q_{ref}$): Prompt con la entrada del usuario, la imagen y la respuesta de referencia autoritativa.

El método calcula un contraste de verosimilitud ($\Delta_{i,t}$) para cada token $t$ en el rollout:
$$\Delta_{i,t} = \log q_{ref}(y_{i,t} | \dots) - \log q_{base}(y_{i,t} | \dots)$$
Los tokens con un contraste positivo (es decir, cuya verosimilitud aumenta significamente cuando la referencia está disponible) se identifican como respaldados por la referencia. RoCo reasigna un peso de destilación adicional a estos tokens, mientras que los tokens genéricos o no respaldados reciben solo una señal de destilación de "suelo" (floor). Esto asegura que el modelo aprenda a alinear segmentos factuales específicos con la referencia sin forzar la imitación uniforme de todo el estilo de la respuesta.

2. ACE: Entropía Cruzada Anclada (Anchored Cross-Entropy)

RoCo no puede supervisar los hechos que son omitidos en el rollout del estudiante. ACE aborda esta brecha de cobertura aplicando una corrección supervisada dispersa a los anclajes autoritativos extraídos (p. ej., entidades, fechas, números) de la respuesta de referencia.

• Puntuación de Cobertura: El sistema calcula una puntuación de cobertura $\rho_i(s, y_i)$ para cada segmento factual $s$ en la referencia frente al rollout del estudiante.
• Corrección Ponderada: Los segmentos que faltan o tienen una cobertura débil reciben pesos más altos. La pérdida se calcula como una entropía cruzada ponderada sobre solo los tokens ancla en la referencia:
  $$L_{ACE} = - \sum_{k \in A_i} u_{i,k} \log p_\theta(a_{i,k} | \dots)$$
  donde $u_{i,k}$ es el peso del ancla. Esto proporciona supervisión directa para los hechos faltantes sin tratar la respuesta de referencia completa como un objetivo de imitación a nivel de token.

Objetivo General

La pérdida final combina la destilación de rollout ponderada y la corrección de anclajes dispersa:
$$L = \frac{1}{|B|} \sum_{i \in B} (\lambda_{RoCo} L_{RoCo}^{(i)} + \lambda_{ACE} L_{ACE}^{(i)})$$

Contribuciones Clave

1. Identificación de la Granularidad de la Supervisión: El artículo identifica que la destilación en línea uniforme no logra distinguir entre tokens factuales respaldados por la referencia y la redacción genérica, lo que conduce a una inyección y retención subóptimas.
2. Marco RoCo-ACE: La introducción de un sistema de doble objetivo:
   • RoCo: Utiliza el contraste de verosimilitud del mismo rollout para reponderar los tokens respaldados por la referencia, fortaleciendo la alineación factual on-policy.
   • ACE: Añade una corrección de anclaje dispersa para los hechos autoritativos omitidos, asegurando la cobertura sin la clonación de la respuesta completa.
3. Validación Empírica: Experimentos extensos en tres entornos de inyección de conocimiento (EVOKE, VP, Sci) y seis benchmarks de retención demuestran que RoCo-ACE logra una precisión de conocimiento inyectado superior mientras mantiene niveles de retención cercanos al modelo base y a los baselines de destilación en línea.

Resultados Experimentales

Los autores evaluaron RoCo-ACE utilizando Qwen3-VL-8B (y Qwen3-VL-30B en los apéndices) contra baselines que incluyen SFT, LoRA, KORE, SDFT y varios métodos de actualización restringida.

• Precisión de Inyección: RoCo-ACE alcanzó la mayor precisión de conocimiento inyectado en todos los entornos. En el benchmark EVOKE, alcanzó una precisión del 27.6%, superando al fuerte baseline restringido KORE (25.2%) y al ajuste directo SFT (20.1%).
• Retención: Crucialmente, RoCo-ACE mantuvo un Ret. Avg. (promedio de retención en seis benchmarks) del 56.5%, que es significativamente mayor que SFT (31.8%) y KORE (47.0%), y comparable al modelo base (57.2%) y al baseline de destilación en línea SDFT (55.1%).
• Estudios de Ablación:
  • Eliminar la ponderación contrastiva (RoCo) y usar pesos uniformes redujo la precisión de la inyección.
  • Eliminar la corrección de anclaje (ACE) resultó en una menor precisión de inyección, particularmente para los hechos omitidos.
  • El uso de la Entropía Cruzada de la referencia completa (SFT) junto con la destilación mejoró la inyección de manera menos efectiva que ACE y degradó la retención de forma más severa, confirmando que la corrección de anclaje dispersa es superior a la imitación de la respuesta completa.
• Análisis Cualitativo: Los estudios de caso mostraron que RoCo enfatiza el contenido on-policy útil (p. ej., "street art", "Amsterdam") mientras que ACE corrige anclajes específicos faltantes (p. ej., "STRAAT Museum", fechas específicas) que el rollout inicialmente omitió.

Significado y Reivindicaciones

El artículo afirma que RoCo-ACE resuelve eficazmente el intercambio entre inyección y retención al desplazar el enfoque de la clonación de comportamiento hacia la alineación factual. Al desacoplar la supervisión de los tokens de rollout respaldados por la referencia de la corrección de los anclajes omitidos, el método inyecta contenido factual disperso sin convertir la respuesta de referencia completa en un objetivo de clonación de comportamiento.

Los autores posicionan a RoCo-ACE como un enfoque complementario a las restricciones del espacio de parámetros; en lugar de restringir dónde puede cambiar el modelo, mejora cómo se supervisa durante la actualización. El método está diseñado específicamente para entornos donde las actualizaciones vienen acompañadas de referencias de lenguaje natural autoritativas, lo que lo hace adecuado para la inyección de conocimiento de entidades, eventos y dominios específicos en MLLMs. El artículo señala modestamente que la retención se evalúa empíricamente en benchmarks no utilizados en el entrenamiento y no proporciona garantías formales para todas las capacidades no actualizadas.