Resumo Técnico: Reason What Matters (ReWAM)

Declaração do Problema

Os Embeddings Multimodais Universais (UME) visam aprender representações unificadas entre modalidades para suportar diversas tarefas de recuperação. Embora métodos recentes integrem o Raciocínio de Cadeia de Pensamento (CoT) em UME para lidar com tarefas de recuperação complexas, composicionais e detalhadas, duas limitações críticas dificultam sua implementação em escala de corpus:

1. Atribuição de Crédito Coarse (Grosseira): Métodos existentes frequentemente empregam a Otimização de Política Relativa ao Grupo (GRPO) com recompensas baseadas em recuperação. Esta abordagem atribui um único escalar de vantagem a todos os tokens de CoT dentro de uma trajetória. Consequentemente, ela falha em distinguir passos de raciocínio que são genuinamente suportados por evidências de entrada daqueles que são alucinados ou irrelevantes. Também não identifica explicitamente as distinções específicas que separam alvos positivos de negativos difíceis (hard negatives). Essa falta de granularidade limita os ganhos de desempenho, particularmente em tarefas Fora da Distribuição (OOD).
2. Latência de Inferência: Abordagens atuais tipicamente geram uma trilha de CoT completa antes de produzir um embedding, mesmo quando uma trilha parcial já contém evidência suficiente para a recuperação. Essa geração autoregressiva de trilhas completas introduz uma latência substancial que escala tanto com o comprimento da trilha quanto com o tamanho do corpus, tornando o raciocínio explícito impraticável para sistemas de larga escala.

Metodologia: Reason What Matters (ReWAM)

O ReWAM é um framework de raciocínio fundamentado em recuperação projetado para otimizar conjuntamente a qualidade do raciocínio e a eficiência da inferência. Ele baseia-se em uma arquitetura desacoplada de raciocinador–embedder, onde um embedder fixo condicionado a CoT fornece um sinal de recuperação estável. O framework introduz dois componentes principais:

1. Auto-Destilação Orientada à Recuperação (RASD)

O RASD aborda o problema da atribuição de crédito grosseira construindo uma "orientação privilegiada" para refinar a supervisão ao nível de token.

• Construção de Informação Privilegiada: Um analisador multimodal contrasta o alvo positivo contra negativos difíceis recuperados para extrair dois tipos de informação privilegiada: (1) Evidência Fundamentada (fatos suportados pela entrada multimodal) e (2) Fronteiras de Decisão (distinções que separam o alvo de candidatos confundíveis).
• Verificação de Alegações: O analisador verifica as trajetórias de CoT amostradas contra esta informação privilegiada para identificar alegações suportadas e declarações conflitantes, formando a "Informação Privilegiada de Evidência Contrastiva" (CEPI).
• Reponderação de Tokens: Um auto-professor on-policy utiliza a CEPI para reclassificar as trajetórias amostradas. Ele calcula a diferença de log-verossimilhança para cada token com e sem a orientação privilegiada. Essa diferença serve como um sinal de stop-gradient para gerar pesos específicos por token.
• Objetivo: Esses pesos modulam a vantagem ao nível de trajetória derivada das recompensas de recuperação. Isso garante que as atualizações de política foquem em passos de raciocínio que sejam tanto suportados pela entrada quanto discriminativos, em vez de reforçar uniformemente toda a trajetória.

2. Inferência Adaptativa à Recuperação (RAI)

O RAI aborda a latência de inferência controlando adaptativamente o comprimento do CoT e acelerando a geração de tokens.

• Cabeça de Confiança de Recuperação: Uma cabeça MLP leve prevê a "utilidade de recuperação restante" de um CoT parcial. Ela estima quanto ganho de recuperação adicional pode ser alcançado continuando o rastro de raciocínio versus parando.
• Truncamento Precoce: Durante a inferência, se a utilidade restante prevista cair abaixo de um limite, a geração do CoT é truncada imediatamente, evitando passos de raciocínio improdutivos.
• Decodificação Especulativa: Para acelerar a geração de continuações úteis, o ReWAM emprega decodificação especulativa. Um modelo de rascunho semi-autoregressivo propõe múltiplos tokens em paralelo, que são verificados pelo raciocinador alvo congelado. Isso reduz o custo de decodificação por token enquanto mantém a qualidade do CoT explícito.

Principais Contribuições

1. Framework ReWAM: Um novo framework de raciocínio fundamentado em recuperação que preenche a lacuna entre qualidade de recuperação e eficiência de inferência para embeddings multimodais universais, estabelecendo o raciocínio explícito como um paradigma escalável para corpora massivos.
2. Auto-Destilação Orientada à Recuperação (RASD): Um método para atribuição de crédito ao nível de token que utiliza a verificação de evidência de recuperação para distinguir entre raciocínio suportado pela entrada e alucinações, refinando o sinal de treinamento além das recompensas de trajetória escalares.
3. Inferência Adaptativa à Recuperação (RAI): Uma estratégia de inferência adaptativa que combina o truncamento ao nível de trajetória (guiado pela utilidade restante prevista) com a aceleração ao nível de token (via decodificação especulativa) para reduzir significativamente a latência sem sacrificar o desempenho de recuperação.

Resultados Experimentais

Experimentos extensivos foram conduzidos nos benchmarks MMEB-V2 (recuperação multimodal de propósito geral) e MRMR (recuperação intensiva em raciocínio).

• Desempenho de Recuperação: O ReWAM atinge o estado da arte em ambos os benchmarks.
  • No MMEB-V2, o ReWAM (Qwen2-VL-2B) atinge uma pontuação geral de 66,5, superando o método anterior de CoT explícito (Embed-RL) e ultrapassando o método de raciocínio latente PLUME em 4,9 pontos, mantendo a interpretabilidade do CoT explícito.
  • No MRMR, o ReWAM atinge pontuações de topo em tarefas intensivas de raciocínio, liderando por margens significativas (ex: +3,1 pontos sobre o RIME, +6,5 pontos sobre o Embed-RL) e demonstrando forte desempenho em tarefas específicas de domínio como Matemática, Física e Engenharia.
• Eficiência de Inferência: O ReWAM entrega melhorias substanciais de throughput.
  • Ele alcança até 5× o throughput de métodos competitivos de UME com CoT explícito (ex: Embed-RL).
  • Ele supera a eficiência do método de raciocínio latente PLUME tanto em desempenho de recuperação quanto em throughput.
  • Estudos de ablação confirmam que a cabeça de confiança de recuperação reduz o comprimento do CoT em 26–36%, aumentando o throughput em adicionais 26–64% sobre a decodificação especulativa isolada.

Significância

O artigo argumenta que o raciocínio explícito tem sido frequentemente descartado como muito caro para implantação em larga escala devido à latência e sinais de otimização grosseiros. O ReWAM demonstra que, ao fundamentar o raciocínio na retroalimentação de recuperação (via RASD) e controlar adaptativamente a inferência (via RAI), o CoT explícito pode se tornar altamente eficaz e eficiente. Os resultados sugerem que o UME aprimorado por raciocínio é prático para sistemas do mundo real operando sobre corpora massivos, oferecendo um caminho para recuperação de alta qualidade sem sacrificar a interpretabilidade e as capacidades de raciocínio composicional das trilhas de texto explícitas.