Resumo Técnico: RoCo-ACE

Definição do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) requerem atualizações para absorver novos conhecimentos factuais ou específicos de domínio após o implante. No entanto, as estratégias padrão de injeção de conhecimento enfrentam um trade-off fundamental entre injeção e retenção:

• Ajuste Direto (SFT/LoRA): Otimizar diretamente sobre respostas autoritativas melhora a precisão do conhecimento injetado, mas frequentemente causa um desvio significativo nos comportamentos não atualizados (ex: fundamentação visual, segurança, raciocínio geral) devido à imitação de respostas completas e ao sobreajuste de estilo (style overfitting).
• Atualizações Restritas: Métodos que restringem o espaço de atualização (ex: variantes de LoRA, restrições de espaço nulo) limitam o desvio, mas frequentemente falham em localizar a supervisão em unidades factuais específicas, resultando em uma subinjeção dos fatos pretendidos.
• Destilação Online: Treinar em rollouts gerados pelo modelo, em vez de alvos fixos, mantém as atualizações próximas à política atual. No entanto, a destilação condicionada por referência uniforme fornece uma supervisão grosseira. Ela aloca massa de gradiente indiscriminadamente para termos genéricos, detalhes visuais não pretendidos e estilo de resposta, enquanto subenfatiza tokens suportados pela referência e fornece apenas supervisão indireta para fatos omitidos do rollout atual.

O desafio central é alcançar uma supervisão de granularidade fina que atualize âncoras factuais específicas sem forçar o modelo a clonar toda a resposta de referência ou degradar suas capacidades gerais.

Metodologia: RoCo-ACE

Os autores propõem o RoCo-ACE, um objetivo de destilação online condicionada ao rollout projetado para injetar conteúdo factual esparso enquanto preserva a retenção. O método opera em um conjunto de dados de prompts ($x_i$), imagens ($I_i$) e respostas de referência autoritativas ($a_i$). Para cada exemplo, o modelo estudante $p_\theta$ gera um rollout on-policy $y_i$.

O objetivo combina dois componentes complementares:

1. RoCo: Destilação Online Contrastiva Condicionada ao Rollout

O RoCo aborda o problema da granularidade de supervisão para os tokens já presentes no rollout do estudante. Ele utiliza um modelo professor $q_\phi$ (uma média móvel exponencial do estudante) para pontuar o mesmo prefixo de rollout sob duas condições:

• Visão Base ($q_{base}$): Provocado apenas com a entrada do usuário e a imagem.
• Visão de Referência ($q_{ref}$): Provocado com a entrada do usuário, a imagem e a resposta de referência autoritativa.

O método calcula um contraste de verossimilhança ($\Delta_{i,t}$) para cada token $t$ no rollout:
$$\Delta_{i,t} = \log q_{ref}(y_{i,t} | \dots) - \log q_{base}(y_{i,t} | \dots)$$
Tokens com um contraste positivo (ou seja, sua verossimilhança aumenta significamente quando a referência está disponível) são identificados como suportados pela referência. O RoCo realoca peso de destilação adicional para esses tokens, enquanto tokens genéricos ou não suportados recebem apenas um sinal de destilação de "piso" (floor). Isso garante que o modelo aprenda a alinhar spans factuais específicos com a referência sem forçar a imitação uniforme de todo o estilo da resposta.

2. ACE: Entropia Cruzada Ancorada

O RoCo não consegue supervisionar fatos que são omitidos do rollout do estudante. O ACE aborda essa lacuna de cobertura aplicando uma correção supervisionada esparsa às âncoras autoritativas extraídas (ex: entidades, datas, números) da resposta de referência.

• Pontuação de Cobertura: O sistema calcula uma pontuação de cobertura $\rho_i(s, y_i)$ para cada span factual $s$ na referência contra o rollout do estudante.
• Correção Ponderada: Spans que estão ausentes ou fracamente cobertos recebem pesos maiores. A perda é calculada como uma entropia cruzada ponderada sobre apenas os tokens de âncora na referência:
  $$L_{ACE} = - \sum_{k \in A_i} u_{i,k} \log p_\theta(a_{i,k} | \dots)$$
  onde $u_{i,k}$ é o peso da âncora. Isso fornece supervisão direta para fatos ausentes sem tratar a resposta de referência completa como um alvo de imitação a nível de token.

Objetivo Geral

A perda final combina a destilação de rollout ponderada e a correção de âncora esparsa:
$$L = \frac{1}{|B|} \sum_{i \in B} (\lambda_{RoCo} L_{RoCo}^{(i)} + \lambda_{ACE} L_{ACE}^{(i)})$$

Principais Contribuições

1. Identificação da Granularidade de Supervisão: O artigo identifica que a destilação online uniforme falha em distinguir entre tokens factuais suportados pela referência e termos genéricos, levando a uma injeção subótima e retenção prejudicada.
2. Estrutura RoCo-ACE: A introdução de um sistema de objetivo duplo:
   • RoCo: Utiliza o contraste de verossimilhança do mesmo rollout para reponderar tokens suportados pela referência, fortalecendo o alinhamento factual on-policy.
   • ACE: Adiciona correção de âncora esparsa para fatos autoritativos omitidos, garantindo a cobertura sem a clonagem da resposta completa.
3. Validação Empírica: Experimentos extensos em três configurações de injeção de conhecimento (EVOKE, VP, Sci) e seis benchmarks de retenção demonstram que o RoCo-ACE alcança uma precisão de conhecimento injetado superior, mantendo níveis de retenção próximos ao modelo base e aos baselines de destilação online.

Resultados Experimentais

Os autores avaliaram o RoCo-ACE usando o Qwen3-VL-8B (e Qwen3-VL-30B nos apêndices) contra baselines incluindo SFT, LoRA, KORE, SDFT e vários métodos de atualização restrita.

• Precisão de Injeção: O RoCo-ACE alcançou a maior precisão de conhecimento injetado em todas as configurações. No benchmark EVOKE, atingiu 27,6% de precisão, superando o forte baseline restrito KORE (25,2%) e o ajuste direto SFT (20,1%).
• Retenção: Crucialmente, o RoCo-ACE manteve um Ret. Avg. (retenção média em seis benchmarks) de 56,5%, que é significativamente superior ao SFT (31,8%) e ao KORE (47,0%), e comparável ao modelo base (57,2%) e ao baseline de destilação online SDFT (55,1%).
• Estudos de Ablação:
  • Remover a ponderação contrastiva (RoCo) e usar pesos uniformes reduziu a precisão da injeção.
  • Remover a correção de âncora (ACE) resultou em menor precisão de injeção, particularmente para fatos omitidos.
  • Usar a Entropia Cruzada de referência total (SFT) junto com a destilação melhorou a injeção de forma menos eficaz que o ACE e degradou a retenção de forma mais severa, confirmando que a correção de âncora esparsa é superior à imitação de resposta completa.
• Análise Qualitativa: Estudos de caso mostraram que o RoCo enfatiza conteúdo útil on-policy (ex: "arte de rua", "Amsterdã") enquanto o ACE corrige âncoras específicas ausentes (ex: "Museu STRAAT", datas específicas) que o rollout inicialmente omitiu.

Significância e Alegações

O artigo afirma que o RoCo-ACE resolve efetivamente o trade-off entre injeção e retenção ao mudar o foco de clonagem de comportamento para alinhamento factual. Ao desacoplar a supervisão de tokens de rollout suportados pela referência da correção de âncoras omitidas, o método injeta conteúdo factual esparso sem transformar a resposta de referência completa em um alvo de clonagem de comportamento.

Os autores posicionam o RoCo-ACE como uma abordagem complementar às restrições de espaço de parâmetros; em vez de restringir onde o modelo pode mudar, ele melhora como o modelo é supervisionado durante a atualização. O método é projetado especificamente para cenários onde as atualizações são acompanhadas por referências de linguagem natural autoritativas, tornando-o adequado para a injeção de conhecimento de entidades, eventos e domínios específicos em MLLMs. O artigo nota modestamente que a retenção é avaliada empiricamente em benchmarks de controle e não fornece garantias formais para todas as capacidades não atualizadas.