CoPRS: Learning Positional Prior from Chain-of-Thought for Reasoning Segmentation

Título: CoPRS: Aprendendo Prior Posicional a partir de Cadeia de Pensamento para Segmentação de Raciocínio

1. O Problema

A segmentação de imagens baseada em raciocínio (Reasoning Segmentation) exige que os modelos não apenas identifiquem objetos, mas também sigam instruções complexas em linguagem natural com restrições composicionais (ex: "Segmentar o UAV que está atrás do quadricóptero e parcialmente oculto por árvores").

As abordagens existentes enfrentam duas limitações principais:

• Métodos de Raciocínio Latente: Conectam diretamente os recursos ocultos (hidden features) de um Modelo de Linguagem Multimodal (MLLM) a um decodificador de máscaras. Isso torna o processo de decisão intermediário opaco e não interpretável.
• Métodos Baseados em Texto: Geram coordenadas discretas (caixas ou pontos) via texto. Embora explícitos, são frágeis a erros de formatação, não capturam detalhes semânticos finos e são difíceis de refinar para bordas precisas.

Existe uma lacuna na necessidade de um equilíbrio melhor entre interpretabilidade e fidelidade representacional para conectar o raciocínio linguístico à percepção visual espacial.

2. Metodologia: CoPRS

O CoPRS (CoT-based Positional perception model for Reasoning Segmentation) é um modelo de percepção posicional baseado em Cadeia de Pensamento Multimodal (MCoT). Ele propõe uma interface diferenciável e interpretável entre o raciocínio e a segmentação.

Arquitetura e Fluxo de Dados:

1. Entrada e Raciocínio (MCoT): Dada uma imagem e uma instrução, o MLLM (baseado em Qwen2.5-VL) gera uma sequência de tokens que inclui:
   • Um bloco de Cadeia de Pensamento (CoT) (<thought>...</thought>) onde o modelo raciocina sobre a tarefa.
   • Um Token de Concentração (<REF_POS>), que é um token aprendível especial.
2. Geração do Prior Posicional:
   • O embedding do token de concentração é extraído e mapeado por uma Cabeça de Consulta (Query Head) para gerar uma Query de Concentração.
   • Esta Query atende aos Keys de características da imagem (extraídas por um backbone de visão, como ViT-H do SAM) via atenção multi-cabeça.
   • O resultado é um Mapa de Calor (Heatmap) denso e diferenciável, que atua como um Prior Posicional. Este mapa concentra a atenção na região alvo, visualizando onde o modelo "pensa" que o objeto está.
3. Decodificação da Máscara:
   • Um Decodificador Leve (baseado no design do decodificador do SAM, com atenção cruzada bidirecional) refina o mapa de calor (prior) para gerar a máscara final de segmentação precisa.

Objetivo de Aprendizado Unificado:
O modelo é treinado de ponta a ponta com um objetivo combinado:

• Otimização de Política (GRPO): Utiliza Group Relative Policy Optimization no caminho linguístico. O modelo gera múltiplas respostas (rollouts) e é recompensado com base na qualidade do raciocínio (CoT) e na precisão da localização (máscara). Isso melhora a capacidade de raciocínio do MLLM.
• Supervisão de Segmentação: O prior posicional e a máscara final são supervisionados diretamente contra a máscara de ground truth usando perdas de classificação binária (BCE), Dice e Focal Loss.

3. Principais Contribuições

• Formulação CoPRS: Um modelo de percepção posicional acionado por MCoT, onde um prior posicional condicionado à linguagem serve como intermediário interpretável entre a compreensão da instrução e a previsão da máscara.
• Interface de Prior Posicional: Em vez de coordenadas discretas ou recursos latentes opacos, o modelo gera um mapa de calor denso. Isso permite análise diagnóstica e oferece detalhes mais finos do que coordenadas textuais.
• Quadro Unificado: Combina RL (GRPO) para melhorar o raciocínio com supervisão supervisionada para a geração de máscaras, superando as limitações de paradigmas anteriores que tratam essas tarefas separadamente.
• Correlação Interpretável: Demonstra que a qualidade do trajeto de raciocínio (CoT) está fortemente correlacionada com a qualidade do mapa de calor e, consequentemente, com a precisão da máscara final.

4. Resultados Experimentais

O CoPRS foi avaliado em conjuntos de dados padrão: RefCOCO, RefCOCO+, RefCOCOg e ReasonSeg.

• Desempenho Geral: O CoPRS iguala ou supera os melhores resultados reportados (SOTA) em todas as divisões dos conjuntos de dados RefCOCO, tanto para modelos de 3B quanto de 7B parâmetros.
  • No RefCOCO+, o CoPRS-7B alcançou um cIoU de 80.3 (testA), superando métodos anteriores como RAS-13B e Seg-Zero.
• Generalização (Zero-Shot): No conjunto de dados ReasonSeg (focado em raciocínio complexo), o modelo foi avaliado em configuração zero-shot (sem treinamento nos dados de ReasonSeg). O CoPRS-7B obteve 65.2 gIoU e 59.8 cIoU, superando significativamente outros métodos baseados em RL e latentes.
• Análise de Correlação:
  • Existe uma forte correlação positiva ($R > 0.7$) entre a qualidade do mapa de calor (prior) e a qualidade da máscara final.
  • Há também uma correlação positiva entre a qualidade do raciocínio CoT (avaliada por um LLM externo) e a precisão da segmentação, validando que um raciocínio melhor leva a uma concentração visual melhor.
• Estudos de Ablação:
  • O uso de GRPO combinado com supervisão de segmentação foi mais eficaz do que usar apenas um ou outro.
  • O tamanho do grupo no GRPO (G=8) ofereceu o melhor equilíbrio entre eficiência e desempenho.
  • O modelo é robusto a diferentes backbones de MLLM (funciona bem com Qwen2.5-VL e LLaVA-1.5).

5. Significado e Impacto

O trabalho CoPRS representa um avanço significativo na interseção entre raciocínio linguístico e percepção visual:

1. Interpretabilidade: Ao tornar o processo de "onde olhar" visível através de um mapa de calor diferenciável, o modelo permite que humanos entendam e diagnostiquem falhas no raciocínio do modelo, algo impossível com métodos de "caixa preta" latente.
2. Precisão: A abordagem evita a perda de informação semântica fina que ocorre ao converter raciocínio em coordenadas discretas, resultando em máscaras de segmentação mais precisas e com bordas melhores.
3. Paradigma Unificado: Estabelece um novo padrão para tarefas de grounding visual, mostrando que o reforço do raciocínio (via RL) e a precisão visual podem ser otimizados simultaneamente em um único loop de treinamento.

Em resumo, o CoPRS demonstra que conectar o raciocínio de alto nível à segmentação de baixo nível através de um prior posicional interpretável é uma estratégia superior para tarefas complexas de compreensão visual instruída.