Resumo Técnico: VERDI – Recuperação não é Transferência para Otimização Contínua de Modelos de Mundo

1. Declaração do Problema

Os modelos de mundo de fundação avançaram significamente em planejamento, simulação e inteligência incorporada. No entanto, otimizar um modelo de mundo pré-treinado em direção a um objetivo específico de usuário permanece um processo não cumulativo. As abordagens atuais tipicamente tratam cada campanha de otimização como um esforço isolado, redescobrindo estratégias do zero e falhando em transferir conhecimento para modelos subsequentes.

Embora agentes de pesquisa autônomos possam automatizar o loop de otimização (geração de experimentos, implementação, execução e avaliação), eles frequentemente tratam estratégias bem-sucedidas como "receitas" diretamente reutilizáveis. Essa abordagem carece de salvaguardas fundamentadas para determinar quando uma estratégia é apropriada para transferência. O problema central é que o conhecimento de otimização é inerentemente dependente do modelo; arquiteturas semelhantes não exibem necessariamente comportamentos de otimização semelhantes, e diferentes arquiteturas podem se beneficiar de estratégias similares. Os sistemas existentes carecem de uma forma fundamentada de relacionar modelos de mundo heterogêneos sob uma perspectiva de otimização, levando à redescoberta repetitiva e à falta de acumulação de conhecimento.

2. Metodologia: O Framework VERDI

Os autores propõem o VERDI (Verifiable Evidence-Licensed World Model Optimization), um framework contínuo projetado para tratar a recuperação como uma etapa de geração de hipóteses, em vez de um mecanismo de transferência direta. O princípio central é: "Recuperação não é transferência." Uma estratégia validada em um modelo é apenas uma hipótese de otimização para outro e torna-se conhecimento transferível apenas após a validação experimental no lado do alvo.

O VERDI opera em um loop de evidência contínua de quatro estágios:

A. Caracterizar (Impressão Digital de Otimização)

Em vez de depender de rótulos de arquitetura ou contagem de parâmetros, o VERDI caracteriza cada modelo de mundo usando uma biblioteca compartilhada de sondas de tempo de inferência.

• Sondas: Estas são perturbações semânticas reversíveis (ex: modificando a magnitude da ação, retenção de contexto ou ruído do amostrador) aplicadas durante a inferência sem alterar os parâmetros do modelo ou o objetivo de otimização.
• Impressão Digital de Otimização ($\phi$): Para uma determinada campanha, o VERDI estima o Jacobiano de resposta ($J$), sua covariância de bootstrap ($\Sigma$) e uma métrica consciente de incerteza ($G$). Esta impressão digital captura como o modelo responde a sondas específicas, resumindo direções comportalmente distinguíveis e precisão de medição.

B. Recuperar (Geometria de Reparo Intervencional - IRG)

O VERDI utiliza a Geometria de Reparo Intervencional (IRG) para relacionar modelos de mundo.

• Métrica de Similaridade: A IRG define a similaridade de otimização baseada em respostas compartilhadas a intervenções de inferência controladas, em vez de detalhes de implementação. Ela compara campanhas usando uma distância ponderada por incerteza entre suas impressões digitais.
• Geração de Hipóteses: O sistema recupera experiência prévia relevante como hipóteses de otimização ranqueadas (não transferências diretas). Ele agrega efeitos de origem compatíveis com base na proximidade da IRG, qualidade da evidência de origem e sobreposição de contexto.

C. Validar (Licenciamento de Evidência)

Esta é a salvaguarda crítica. Nenhuma habilidade recuperada torna-se conhecimento apenas porque é próxima na IRG.

• Certificado de Compatibilidade: Antes de um teste priorizado por transferência, um certificado verifica seis condições: sucesso de compilação, sobreposição de suporte suficiente, evidência suficiente, alinhamento de resposta, concordância de sinal e ganho suficiente sobre um início a frio (cold start).
• Validação no Lado do Alvo: Cada candidato é compilado contra o backbone alvo e testado sob um verificador congelado.
  • Triagem: Telas pareadas de baixo custo eliminam candidatos implausíveis.
  • Confirmação: Candidatos promovidos passam por confirmação com múltiplas sementes preservadas (held-out) com horizontes crescentes.
• Resultado: Apenas evidências experimentalmente estabelecidas (resultados positivos, nulos, prejudiciais ou de interação) são admitidas como conhecimento reutilizável.

D. Acumular (Evolução Contínua do Conhecimento)

• WMOM & IEM: Resultados validados atualizam a Memória de Otimização de Modelo de Mundo (WMOM) e sua Memória de Efeito de Intervenção (IEM) estruturada. Isso armazena vetores de efeito, incerteza e relações de transferência.
• Colisão de IRG & Evolução de Sonda: Se duas campanhas são geometricamente próximas, mas geram efeitos validados incompatíveis para a mesma habilidade (uma "colisão de IRG"), isso serve como contraevidência de que a base de sondas atual é insuficiente. Isso aciona a evolução da sonda, onde novas sondas diagnósticas são propostas e testadas para refinar a própria representação.

3. Principais Contribuições

1. Princípio de "Recuperação não é Transferência": O artigo introduz um mecanismo de representação e comparação fundamentado que mede a similaridade de otimização através de sondas de tempo de inferência compartilhadas, estabelecendo que a recuperação serve apenas para priorizar hipóteses, enquanto a transferência exige validação experimental.
2. Metodologia de Otimização Contínua: O VERDI formula a otimização de modelos de mundo como um processo de acumulação de conhecimento contínuo. Ele representa reparos como vetores de efeito pareados e multicoordenados (contratos de reparo diferencial) em vez de pontuações absolutas, tornando os compromissos (trade-offs) explícitos antes das decisões de transferência.
3. O Framework VERDI: Um sistema autônomo que recupera, valida e acumula conhecimento de otimização. Ele permite a transferência eficiente e confiável entre famílias de modelos de mundo heterogêneas (Ctrl-World, Cosmos, RoboCoin) usando um plano de controle duplo: um para geração de hipóteses e outro para licenciamento de evidência.

4. Resultados Experimentais

Os autores avaliaram o VERDI no Ctrl-World, na família Cosmos e no RoboCoin sob diversos objetivos (otimização de backbone, transferência entre modelos e adaptação a objetivos não vistos).

• Eficiência: O VERDI reduziu o custo de busca em 68% e o custo de GPU em 69% em comparação com os baselines.
• Transferência Negativa: A taxa de transferência negativa (estratégias prejudiciais aplicadas a novos modelos) foi reduzida de 0,34 (reuso incondicional) para 0,06 (reuso certificado).
• Precisão de Predição: O sistema previu resultados de transferência com 83% de precisão de sinal.
• Reparos Específicos:
  • Ctrl-World: Melhorou a suavidade do movimento (68,75 $\rightarrow$ 81,53) e a precisão de profundidade (93,28 $\rightarrow$ 96,16), enquanto registrou explicitamente regressões protegidas (ex: grau dinâmico).
  • Cosmos-Predict 2: Aplicou orientação DINOv2 para melhorar a consistência estrutural, com trade-offs verificados em consistência de fundo.
  • RoboCoin: Adaptou com sucesso um modelo de mundo a um novo corpo robótico e interface de ação, demonstrando a capacidade do framework de construir tarefas de treinamento executáveis a partir de novos conjuntos de dados.
• Evolução de Sonda: Experimentos mostraram que a evolução de sondas impulsionada por colisões melhorou a cobertura do gráfico local e reduziu o arrependimento de seleção em comparação com estratégias de crescimento fixas ou sem controle.

5. Significância e Alegações

O artigo afirma que o VERDI muda o paradigma da otimização de modelos de mundo de campanhas isoladas para um sistema de conhecimento de otimização continuamente aprimorado.

• Auditabilidade e Segurança: Ao impor um "verificador congelado" e exigir validação experimental para cada transferência, o VERDI evita a acumulação de conhecimento prejudicial ou não verificado. Ele rastreia explicitamente "regressões protegidas" (compromissos) em vez de escondê-las em pontuações médias.
• Escalabilidade: O framework demonstra que a experiência de otimização pode ser sistematicamente reutilizada em modelos heterogêneos, desde que a transferência seja licenciada por evidência e não assumida com base na similaridade arquitetônica.
• Modéstia: Os autores reconhecem limitações, observando que as garantias são condicionais a contratos de objetivos completos e avaliadores válidos. Eles afirmam que o sistema melhora a auditabilidade, mas não garante a verdade, exigindo replicação independente e revisão humana. As capacidades de adaptação atuais estão estabelecidas para famílias específicas de conjuntos de dados e modelos base, não para corpos arbitrários.

Em resumo, o VERDI fornece uma arquitetura rigorosa e baseada em evidências para o aprimoramento contínuo de modelos de mundo, garantindo que a transferência de conhecimento seja segura, verificável e cumulativa.