Thinking with Images as Continuous Actions: Numerical Visual Chain-of-Thought

Este artigo apresenta o NV-CoT, um novo framework que permite que modelos de linguagem multimodal realizem raciocínio visual por meio da geração direta de coordenadas numéricas contínuas, superando as limitações de métodos baseados em texto ou patches fixos e demonstrando melhorias significativas em precisão de localização, acurácia e velocidade de convergência.

O essencial

Imagine que você tem um amigo muito inteligente, um "robô de perguntas e respostas" que consegue ver fotos e conversar sobre elas. Esse é o que chamamos de Modelo de Linguagem Multimodal (MLLM).

O problema é que, até agora, quando esse robô precisava olhar para uma parte específica de uma foto para responder a uma pergunta (como "o que o homem está segurando?"), ele tinha que fazer isso de um jeito meio "travado" e impreciso.

Aqui está a explicação simples do que o NV-CoT (o novo método do artigo) faz, usando analogias do dia a dia:

1. O Problema: "Falar em Palavras" vs. "Apontar com o Dedo"

Como era antes (O jeito antigo):
Imagine que você está tentando descrever a localização de um objeto em uma foto para um amigo, mas você só pode usar palavras e números inteiros.

• Você diz: "Olhe no quadrado 4, linha 2, até o quadrado 6, linha 5".
• O problema: O mundo real é contínuo. Um objeto pode estar entre o quadrado 4 e o 5. Se você forçar o robô a escolher apenas "4" ou "5", ele pode errar o alvo. É como tentar medir a altura de uma pessoa usando apenas "baixo" ou "alto", sem números decimais. Além disso, o robô tinha que "quebrar" os números em pedaços de texto (como "3", ".", "1", "1"), o que confundia a lógica dele.

O jeito novo (NV-CoT):
O NV-CoT permite que o robô aponte diretamente para o lugar exato na foto, como se ele tivesse um dedo digital.

• Em vez de dizer "quadrado 4", ele diz: "Olhe exatamente no ponto 42,2 na horizontal e 21,4 na vertical".
• A analogia: É a diferença entre tentar desenhar um círculo usando apenas quadrados de um mosaico (o jeito antigo, com pedaços fixos) e desenhar um círculo perfeito com uma caneta (o jeito novo, com coordenadas contínuas).

2. A Grande Inovação: "Pensar com Números Reais"

O artigo chama isso de Cadeia de Pensamento Visual Numérica.

• Antes: O robô pensava: "Vou escrever a palavra 'quatro', depois o ponto, depois o 'dois'...". Isso era lento e propenso a erros de cálculo (ele podia achar que 3,9 é menor que 3,11 porque os números eram tratados como letras).
• Agora: O robô pensa em números reais (como 42,2). Ele gera coordenadas de uma caixa (um retângulo) que envolve o objeto diretamente.
  • Analogia: Imagine que o robô aprendeu a usar uma régua milimetrada em vez de apenas contar "passos" de tamanho fixo.

3. Como eles ensinaram o robô? (Treinamento)

O artigo mostra duas formas de ensinar esse novo jeito de pensar:

• Aprendizado Supervisionado (SFT): É como dar ao robô um livro de respostas com as coordenadas exatas. Se ele errar, o professor diz: "Não é 4, é 4,2". O robô aprende a ajustar seu "dedo" para o lugar certo.
• Aprendizado por Reforço (RL): Aqui, não temos as coordenadas exatas. O robô tenta apontar para um lugar, corta a imagem e responde. Se a resposta estiver certa, ele ganha um "ponto". Se errar, perde.
  • O Truque Mágico: Para o robô aprender a explorar novos lugares sem ficar preso, eles criaram uma "fórmula de sorteio" (chamada de distribuição Gaussiana ou Laplace). É como se o robô dissesse: "Acho que o objeto está aqui (42,2), mas vou tentar um pouquinho à esquerda e um pouquinho à direita para ver se acerto melhor". Isso permite que ele explore e aprenda sozinho.

4. Por que isso é incrível? (Os Resultados)

Os testes mostraram que o NV-CoT é muito melhor em duas coisas:

1. Precisão Cirúrgica: O robô consegue isolar o objeto exato na foto, sem cortar partes do fundo ou deixar partes do objeto de fora. É como usar um laser para recortar um papel em vez de usar uma tesoura grossa.
2. Respostas Mais Certas: Como ele vê o objeto com mais clareza, ele responde às perguntas com muito mais acerto. Em testes, um modelo pequeno (7B) com essa técnica bateu modelos gigantes (32B) que usavam o jeito antigo.

Resumo Final

Pense no NV-CoT como dar ao robô óculos de precisão e uma caneta de coordenadas.
Em vez de tentar descrever onde olhar usando palavras confusas e blocos rígidos, ele agora pode apontar diretamente para o pixel exato na tela. Isso torna o raciocínio visual mais rápido, mais preciso e muito mais inteligente, permitindo que ele entenda o mundo visual da mesma forma que nós humanos fazemos: de forma fluida e contínua, não em "pedaços" quebrados.

Resumo técnico

Resumo Técnico: NV-CoT

1. O Problema

Os Modelos de Linguagem Grandes Multimodais (MLLMs) modernos estão cada vez mais utilizando "Cadeias de Pensamento Visuais" (Visual Chain-of-Thought) para realizar raciocínio fundamentado em regiões de imagens. No entanto, as abordagens existentes enfrentam duas limitações fundamentais:

1. Abordagens Baseadas em Texto (Discretas): Modelos que geram coordenadas de caixas delimitadoras como tokens de texto (ex: ["x1", "y1", "x2", "y2"]) sofrem de:
   • Descompasso de Modalidade: Coordenadas visuais são contínuas, mas são tratadas como tokens discretos de texto, ignorando a proximidade geométrica (ex: prever "3.2" quando o alvo é "3.1" é penalizado da mesma forma que prever "4.1" sob perda de entropia cruzada).
   • Fragmentação Semântica: Números são tokenizados em sub-tokens não relacionados, tornando o raciocínio numérico frágil e propenso a alucinações (ex: confundir qual número é maior).
2. Abordagens Baseadas em Patches (Granularidade Fixa): Métodos que operam diretamente em patches visuais finos são limitados pela granularidade fixa do backbone de visão, impedindo a seleção precisa e flexível de regiões, além de exigir mudanças arquitetônicas não triviais.

2. Metodologia: NV-CoT

O Numerical Visual Chain-of-Thought (NV-CoT) propõe um framework que expande o espaço de ações do MLLM de tokens de vocabulário discretos para um espaço euclidiano contínuo. Em vez de gerar texto, o modelo gera diretamente coordenadas numéricas de caixas delimitadoras como ações.

Componentes Principais:

• Expansão da Ação Contínua:
  • O cabeçalho de saída padrão do LLM é estendido com quatro cabeças lineares leves para prever as coordenadas [x1, y1, x2, y2].
  • Adiciona-se uma quinta cabeça para prever um desvio padrão compartilhado (σ), permitindo modelar a incerteza.
• Ajuste Fino Supervisionado (SFT):
  • Substitui a perda de entropia cruzada (para tokens) por uma perda de regressão (L2 ou L1) para supervisionar as coordenadas contínuas.
  • O modelo aprende a minimizar a distância entre a caixa prevista e a caixa de ground truth.
• Aprendizado por Reforço (RL) e Otimização de Política:
  • Para compatibilizar com algoritmos de RL como GRPO (Group Relative Policy Optimization), que exigem estocasticidade para exploração, o NV-CoT substitui políticas categóricas por políticas Gaussianas (ou Laplace).
  • Amostragem Reparametrizada: O modelo prevê a média ($\mu$) e o desvio padrão ($\sigma$) e amostra as coordenadas via $b = \mu + \sigma \epsilon$. Isso permite gradientes de baixa variância.
  • Razão de Importância e KL: Deriva-se uma forma fechada para a razão de importância e a penalidade KL entre políticas contínuas, permitindo a integração direta com pipelines de RL existentes.
• Variação Laplace:
  • O artigo também propõe uma variante baseada na distribuição de Laplace (equivalente à perda L1), motivada pela robustez de erros em tarefas de localização, demonstrando desempenho superior em alguns cenários.

3. Contribuições Chave

1. Novo Espaço de Ação: Propõe o NV-CoT, que permite que MLLMs gerem coordenadas de caixas delimitadoras numéricas diretamente, eliminando a necessidade de discretização textual.
2. Compatibilidade com RL: Desenvolve políticas de coordenadas (Gaussianas/Laplace) com amostragem reparametrizada e razões de importância analíticas, tornando a localização contínua compatível com algoritmos de RL modernos (como GRPO).
3. Validação Empírica: Demonstra através de extensos experimentos que a abordagem contínua supera significativamente os métodos baseados em texto e patches em precisão de localização, acurácia da resposta final e velocidade de convergência.

4. Resultados Experimentais

Os experimentos foram conduzidos em três benchmarks principais (V*Bench, HR-Bench 4K, HR-Bench 8K) comparando o NV-CoT contra oito baselines (incluindo Vis-CoT, DeepEyes, LVR, PaDT, etc.).

• Desempenho Geral: O NV-CoT superou consistentemente os modelos backbone em configurações de SFT e RL.
  • No V*Bench, o NV-CoT-7B superou o LVR-7B (baseado em patches) em 9.5% e o DeepEyes-7B (baseado em texto) em 2.7%.
  • Em HR-Bench, houve ganhos consistentes em percepção espacial fina e comparação.
• Precisão de Localização: O NV-CoT mostrou uma melhoria significativa na precisão das caixas delimitadoras (IoU), superando o Vis-CoT em mais de 10 pontos percentuais no conjunto de dados Vis-CoT-363K.
• Convergência: O modelo converge mais rapidamente durante o treinamento em comparação com métodos baseados em texto.
• Ablação: A política Laplace (com perda L1) superou a política Gaussiana (perda L2), confirmando a robustez de objetivos do tipo L1 para tarefas de localização.

5. Significado e Impacto

O NV-CoT representa um avanço significativo na arquitetura de raciocínio visual:

• Ponte entre Percepção e Raciocínio: Ao tratar a localização como uma ação contínua, o modelo alinha naturalmente a percepção visual (que é contínua) com o processo de raciocínio, evitando a perda de informação causada pela discretização textual.
• Eficiência Arquitetônica: Diferente de métodos baseados em patches que exigem grandes alterações no backbone de visão, o NV-CoT requer apenas modificações mínimas (cabeças lineares adicionais) no cabeçalho de saída do LLM, mantendo a modularidade.
• Aplicabilidade: O framework é versátil, funcionando tanto em cenários de ajuste fino supervisionado (quando há dados rotulados) quanto em aprendizado por reforço (quando apenas feedback de resposta final está disponível), tornando-o uma solução prática para melhorar a precisão em tarefas como VQA (Visual Question Answering) e OCR.

Em suma, o NV-CoT demonstra que tratar a "pensamento com imagens" como um problema de ação contínua é superior às abordagens discretas atuais, oferecendo maior precisão, robustez e eficiência no raciocínio visual de MLLMs.