Resumen Técnico: Crayotter y la Retropropagación de Preferencias Relativas al Grupo (GRPB)

1. Declaración del Problema

Los agentes de edición de video de largo alcance se enfrentan a un desafío fundamental al aprender del feedback: la calidad del producto final es subjetiva, admite múltiples soluciones válidas y solo es observable tras una secuencia de decisiones interdependientes (análisis de la fuente, recuperación de clips, construcción de la línea de tiempo, renderizado y revisión).

Los enfoques actuales tienen dificultades con dos problemas principales:

1. Objetivos Globales Ambiguos: Una recompensa escalar global es inadecuada para la edición porque las dimensiones de calidad (continuidad narrativa, ritmo, fidelidad estilística) varían según la tarea y el juez. Una puntuación absoluta entrelaza la calidad del producto, la dificultad de la tarea y la variación de escala del juez, haciendo que la calibración entre tareas carezca de sentido.
2. Crédito Retrasado y Difuso: Los trazos de ejecución proporcionan feedback verificable sobre la completitud de las herramientas y la validez de los artefactos, pero fallan en capturar la calidad semántica o narrativa. Estas cualidades solo son observables tras el renderizado. Los métodos estándar de aprendizaje por refuerzo (RL) luchan por asignar crédito desde un juicio del producto final hacia decisiones de edición tempranas y específicas sin introducir ruido o sesgo.

Los métodos existentes dependen de condiciones terminales externamente verificables (de las cuales la edición carece) o transmiten una ventaja única a nivel de trayectoria a todas las acciones, fallando al localizar el crédito en los segmentos semánticos específicos que causaron el resultado.

2. Metodología: Retropropagación de Preferencias Relativas al Grupo (GRPB)

Los autores presentan GRPB, un marco que convierte resultados subjetivos y retrasados en un aprendizaje de preferencias estructurado y local a la tarea. El método opera dentro del entorno de edición Crayotter, que proporciona trazos segmentados, resultados renderizados y diagnósticos de proceso.

Mecanismos Centrales

GRPB descompone el problema de aprendizaje en tres etapas distintas:

A. Construcción de Preferencias Locales a la Tarea
En lugar de realizar una regresión de una puntuación de calidad global, GRPB muestrea un grupo de ejecuciones ($G_q$) para la misma solicitud, materiales, duración objetivo y restricciones. Un juez multimodal clasifica estos videos finales ($J_k$).

• Ventaja de Rango de Suma Cero: Las puntuaciones del juez se convierten en una ventaja de victoria/derrota por pares ($A^{rank}_k$) dentro del grupo. Esta estadística es de suma cero ($\sum A^{rank}_k = 0$) y se sitúa en $[-1, 1]$, lo que la hace invariante a los desplazamientos de puntuación, cambios de escala y la calibración entre tareas.

B. Asignación de Segmentos Retrasada
La innovación central es el mapeo de la preferencia a nivel de trayectoria hacia segmentos de edición específicos (eventos contiguos que comparten una etiqueta de etapa de edición).

• Asignador Bradley-Terry Disperso: Un modelo lineal disperso predice la utilidad de una ejecución basada en la media de sus vectores de características de segmento ($\hat{z}_k = w^\top \bar{f}_k$). Los pesos $w$ se entrenan para minimizar la pérdida de Bradley-Terry en las clasificaciones dentro del grupo.
• Actualización Retrasada: Crucialmente, el asignador utiliza pesos ($w^-$) congelados antes de observar el lote actual. El crédito de la política se calcula usando $w^-$ y, solo entonces, se actualiza $w$. Esto evita que el modelo memorice las etiquetas actuales y las devuelva inmediatamente como crédito al mismo grupo de ejecución.
• Puerta de Fiabilidad: Las estimaciones tempranas del asignador están controladas por un coeficiente de fiabilidad basado en observaciones de calentamiento y precisión. El crédito se desactiva hasta que el asignador demuestra suficiente precisión predictiva.

C. Redistribución de Crédito Acotada
La ventaja de rango de suma cero se redistribuye a los segmentos utilizando un algoritmo de "llenado de agua" (water-filling) con restricciones estrictas:

• Asignación con Signo y Límite: Los presupuestos positivos favorecen a los segmentos de alta puntuación; los presupuestos negativos penalizan a los de baja puntuación. Un límite absoluto por segmento ($C$) evita que cualquier segmento único absorba todo el presupuesto.
• Conservación Exacta: La suma de los créditos asignados para una ejecución es exactamente igual a su presupuesto de ventaja de rango ($\sum c_{k,m} = b_k$).
• Colocación Semántica: Los créditos se asignan a la posición de entrenamiento final de un segmento semántico, no se distribuyen por recuento de tokens, asegurando que los lapsos verbales largos no reciban una masa de preferencia desproporcionada.

D. Optimización de la Política
Los créditos de segmento asignados se añaden a las recompensas de proceso en los puntos finales de los segmentos. La política se optimiza utilizando PPO con GAE (Estimación de Ventaja Generalizada), utilizando una línea base de valor aprendida. A diferencia de GRPO (Optimización de Política Relativa al Grupo), que comparte un escalar a nivel de trayectoria para todas las acciones, GRPB utiliza el grupo solo para construir el presupuesto, mientras que el crítico y el GAE gestionan las ventajas variables por paso derivadas de las recompensas de segmento localizadas.

3. Contribuciones Clave

1. Formulación: El artículo formula la edición de video de largo alcance como un problema de asignación de crédito de preferencia de artefactos local a la tarea, separando el feedback de proceso verificable de la evaluación subjetiva del producto final.
2. Algoritmo (GRPB): Un método novedoso que combina ventajas de rango dentro de la tarea de suma cero con un asignador de segmentos retrasado, con puerta de fiabilidad y acotado. Asegura la conservación exacta del retorno y evita que las evaluaciones actuales den forma directamente al mismo grupo de ejecución.
3. Conjunto de Datos y Evaluación: Los autores construyeron manualmente una suite de 70 tareas de edición realistas, estratificadas por horizonte y disjuntas por proyecto (12 normales, 12 medianas, 46 de largo alcance) con divisiones disjuntas por proyecto para evitar la fuga de datos.

4. Resultados Experimentales

Los autores evaluaron un modelo de 9 mil millones de parámetros (Crayotter) entrenado con GRPB frente a varios baselines y benchmarks externos.

• Baselines Emparejados (AgenticVBench):
  • GRPB logró la puntuación media más alta (15.7%) en AgenticVBench, superando a Process-PPO (13.7%) y Terminal Rank PPO (12.0%).
  • Específicamente, GRPB destacó en el pilar "Repurpose" (23.0%), una métrica altamente alineada con las tareas de edición.
  • Los estudios de ablación mostraron que eliminar el mecanismo de retraso o las salvaguardas de fiabilidad causaba que el rendimiento cayera por debajo de Process-PPO, confirmando la necesidad de un crédito diferenciado y protegido.
• Localización de Crédito:
  • En intervenciones controladas donde se degradó un solo segmento, GRPB logró una localización Top-1 del 20.8% (identificando el segmento degradado) y una precisión de ordenación por pares del 85.7%, superando significativamente la asignación uniforme (11.9%) y la transmisión terminal (1.8%).
• Benchmarking Externo:
  • En el AgenticVBench completo (100 tareas disjuntas), Crayotter-9B ocupó el tercer lugar entre los sistemas listados, excediendo a varios sistemas propietarios y igualando a Gemini 3.1 Pro en la tarea de Repurpose.
• Evaluación Humana:
  • En pruebas de preferencia humana ciegas, GRPB logró tasas de victoria neta positivas contra todos los oponentes, incluyendo una tasa de victoria neta del 34.2% sobre el modelo base y del 8.0% sobre Process-PPO.

5. Significación y Reivindicaciones

El artículo afirma que GRPB proporciona un enfoque práctico para aprender de resultados subjetivos y retrasados en tareas de producción de múltiples etapas. Al convertir puntuaciones globales ambiguas en comparaciones ordinales locales dentro de la tarea y localizar el crédito mediante un asignador retrasado, el método permite mejorar tanto el comportamiento de edición como la calidad del producto renderizado sin requerir la calibración de puntuaciones entre tareas.

Los autores posicionan este trabajo como una base para otras tareas de producción de múltiples etapas y soluciones múltiples subjetivas, demostrando que la comparación local a la tarea y la asignación de crédito conservadora pueden cerrar eficazmente la brecha entre el juicio del artefacto final y la optimización de la política intermedia. El modelo Crayotter resultante demuestra que los agentes de código abierto pueden competir con, y en algunos casos superar a, los sistemas propietarios en dominios complejos de edición de video.