Resumo Técnico: Crayotter e Group-Relative Preference Backpropagation (GRPB)

1. Definição do Problema

Agentes de edição de vídeo de longo horizonte enfrentam um desafio fundamental ao aprender com o feedback: a qualidade do produto final é subjetiva, admite múltiplas soluções válidas e só é observável após uma sequência de decisões interdependentes (análise da fonte, recuperação de clipes, construção da linha do tempo, renderização e revisão).

As abordagens atuais lutam contra dois problemas primários:

1. Objetivos Globais Ambíguos: Uma recompensa escalar global é inadequada para a edição porque as dimensões de qualidade (continuidade narrativa, ritmo, fidelidade estilística) variam conforme a tarefa e o juiz. Uma pontuação absoluta mistura a qualidade do produto, a dificuldade da tarefa e a variação de escala do juiz, tornando a calibração entre tarefas sem sentido.
2. Crédito Atrasado e Difuso: Os rastros de execução fornecem feedback verificável sobre a conclusão de ferramentas e validade de artefatos, mas falham em capturar seleção semântica ou qualidade narrativa. Essas qualidades só são observáveis após a renderização. Métodos padrão de aprendizado por reforço (RL) têm dificuldade em atribuir crédito de um julgamento de produto final de volta a decisões de edição específicas e iniciais sem introduzir ruído ou viés.

Métodos existentes dependem de condições terminais externamente verificáveis (o que a edição carece) ou transmitem uma vantagem única de nível de trajetória para todas as ações, falhando em localizar o crédito para o segmento semântico específico que causou o resultado.

2. Metodologia: Group-Relative Preference Backpropagation (GRPB)

Os autores introduzem o GRPB, um framework que converte resultados subjetivos e atrasados em aprendizado de preferência estruturado e local à tarefa. O método opera dentro do ambiente de edição Crayotras, que fornece rastros segmentados, resultados renderizados e diagnósticos de processo.

Mecanismos Principais

O GRPB decompõe o problema de aprendizado em três estágios distintos:

A. Construção de Preferência Local à Tarefa
Em vez de regredir um escore de qualidade global, o GRPB amostra um grupo de rollouts ($G_q$) para o mesmo pedido, materiais, duração alvo e restrições. Um juiz multimodal classifica estes vídeos finais ($J_k$).

• Vantagem de Ranking Zero-Sum: Os escores do juiz são convertidos em uma vantagem de vitória/derrota pareada ($A^{rank}_k$) dentro do grupo. Esta estatística é zero-sum ($\sum A^{rank}_k = 0$) e situa-se em $[-1, 1]$, tornando-se invariante a deslocamentos de escore, mudanças de escala e calibração entre tarefas.

B. Alocação de Segmento com Atraso (Lagged Segment Allocation)
A inovação central é mapear a preferência de nível de trajetória para segmentos de edição específicos (eventos contíguos que compartilham um rótulo de estágio de edição).

• Alocador Bradley-Terry Esparso: Um modelo linear esparso prevê a utilidade de um rollout com base no vetor de características médio de seu segmento ($\hat{z}_k = w^\top \bar{f}_k$). Os pesos $w$ são treinados para minimizar a perda de Bradley-Terry nas classificações dentro do grupo.
• Atualização com Atraso (Lagged Update): Crucialmente, o alocador utiliza pesos ($w^-$) congelados antes de observar o lote atual. O crédito da política é computado usando $w^-$ e, só então, $w$ é atualizado. Isso evita que o modelo memorize os rótulos atuais e os retorne imediatamente como crédito para o mesmo lote.
• Portão de Confiabilidade (Reliability Gating): As estimativas iniciais do alocador são controladas por um coeficiente de confiabilidade baseado em observações de aquecimento e precisão. O crédito é desativado até que o alocador demonstre precisão preditiva suficiente.

C. Redistribuição de Crédito Limitada
A vantagem de ranking zero-sum é redistribuída para os segmentos usando um algoritmo de "preenchimento de reservatório" (water-filling) com restrições estritas:

• Alocação com Sinal e Teto (Signed Capped Allocation): Orçamentos positivos favorecem segmentos de alta pontuação; orçamentos negativos penalizam os de baixa pontuação. Um teto absoluto por segmento ($C$) impede que qualquer segmento absorva todo o orçamento.
• Conservação Exata: A soma dos créditos alocados para um rollout é exatamente igual ao seu orçamento de vantagem de ranking ($\sum c_{k,m} = b_k$).
• Posicionamento Semântico: Os créditos são atribuídos à posição treinável final de um segmento semântico, não sendo distribuídos por contagem de tokens, garantindo que longos períodos verbais não recebam uma massa de preferência desproporcional.

D. Otimização da Política
Os créditos de segmento alocados são adicionados às recompensas de processo nos endpoints dos segmentos. A política é otimizada usando PPO com GAE (Generalized Advantage Estimation), utilizando uma linha de base de valor aprendida. Diferente do GRPO (Group Relative Policy Optimization), que compartilha um escalar de nível de trajetória para todas as ações, o GRPB usa o grupo apenas para construir o orçamento, enquanto o crítico e o GAE lidam com as vantagens variáveis por passo derivadas das recompensas de segmento localizadas.

3. Principais Contribuições

1. Formulação: O artigo formula a edição de vídeo de longo horizonte como um problema de atribuição de crédito de preferência de artefato local à tarefa, separando o feedback de processo verificável da avaliação subjetiva do produto final.
2. Algoritmo (GRPB): Um método inovador que combina vantagens de ranking zero-sum dentro da tarefa com um alocador de segmento com atraso, portão de confiabilidade e teto. Ele garante a conservação exata do retorno e evita que os julgamentos atuais moldem diretamente o mesmo grupo de rollout.
3. Dataset e Avaliação: Os autores construíram manualmente um conjunto de 70 tarefas de edição realistas (12 normais, 12 médias, 46 de longo horizonte), estratificadas por horizonte e projetadas de forma disjunta, com divisões disjuntas por projeto para evitar vazamento de dados.

4. Resultados Experimentais

Os autores avaliaram um modelo de 9 bilhões de parâmetros (Crayotter) treinado com GRPB contra várias linhas de base e benchmarks externos.

• Baselines Comparáveis (AgenticVBench):
  • O GRPB alcançou a pontuação média mais alta (15,7%) no AgenticVBench, superando o Process-PPO (13,7%) e o Terminal Rank PPO (12,0%).
  • Especificamente, o GRPB destacou-se no pilar "Repurpose" (23,0%), uma métrica altamente alinhada com tarefas de edição.
  • Estudos de ablação mostraram que remover o mecanismo de atraso ou as salvaguardas de confiabilidade causou queda no desempenho abaixo do Process-PPO, confirmando a necessidade de um crédito diferenciado e protegido.
• Localização de Crédito:
  • Em intervenções controladas onde um único segmento foi degradado, o GRPB alcançou 20,8% de localização Top-1 (identificando o segmento degradado) e 85,7% de precisão pareada em ordenação, superando significativamente a alocação uniforme (11,9%) e a transmissão terminal (1,8%).
• Benchmarking Externo:
  • No AgenticVBench completo (100 tarefas disjuntas), o Crayotter-9B classificou-se em terceiro lugar entre os sistemas listados, excedendo vários alternativas proprietárias e igualando o Gemini 3.1 Pro na tarefa de Repurpose.
• Avaliação Humana:
  • Em testes de preferência humana cegados, o GRPB alcançou uma taxa de vitória líquida positiva contra todos os oponentes, incluindo uma taxa de vitória líquida de 34,2% sobre o modelo base e 8,0% sobre o Process-PPO.

5. Significância e Alegações

O artigo afirma que o GRPB fornece uma abordagem prática para aprender com resultados subjetivos e atrasados em tarefas de produção de múltiplos estágios. Ao converter escores globais ambíguos em comparações ordinais dentro da tarefa e localizar o crédito através de um alocador com atraso, o método permite que agentes melhorem tanto o comportamento de edição quanto a qualidade do produto renderizado sem exigir calibração de escore entre tarefas.

Os autores posicionam este trabalho como uma fundação para outras tarefas de produção de múltiplos estágios e soluções múltiplas e subjetivas, demonstrando que a comparação local à tarefa e a alocação de crédito conservadora podem efetivamente preencher a lacuna entre o julgamento do artefato final e a otimização da política intermediária. O modelo Crayotter resultante demonstra que agentes de código aberto podem competir com, e em alguns casos superar, sistemas proprietários em domínios complexos de edição de vídeo.