Resumo Técnico: Aprendizado para Rotulação (L2L)

Declaração do Problema

A Segmentação de Expressões Referenciais Semissupervisionada (SS-RES) visa alcançar uma fundamentação linguística precisa em nível de pixel usando um pequeno conjunto de pares imagem-texto rotulados e um grande conjunto de dados não rotulados. Embora os métodos existentes de segmentação semissupervisionada dependam de rotulagem pseudo e regularização de consistência, a aplicação direta desses paradigmas à SS-RES é desafiadora devido à ambiguidade referencial, oclusão e à necessidade de raciocínio contextual de longo alcance. Esses fatores frequentemente levam à incerteza nas fronteiras e a máscaras pseudo instáveis.

As abordagens atuais geralmente filtram as rotulações pseudo usando um limiar de confiança fixo. No entanto, essa heurística é frágil: limiares excessivamente rigorosos descartam amostras informativas, enquanto limiares frouxos introduzem supervisão ruidosa que contamina o treinamento. Além disso, trabalhos recentes alavancam Modelos de Linguagem Multimodal Grandes (MLLMs) e modelos fundacionais (por exemplo, SAM) para gerar priores externos. Contudo, esses priores nem sempre são confiáveis; MLLMs podem alucinar ou sofrer com desvio de fundamentação, e modelos de segmentação podem super-segmentar ou se distrair. Crucialmente, frequentemente há uma discordância significativa, dependente da amostra, entre a confiança do prior do MLLM e as próprias previsões do modelo de segmentação, tornando estratégias de limiar fixo ineficazes.

Metodologia

Os autores propõem o Aprendizado para Rotulação (L2L), um quadro de autoevolução reforçada que reencena a construção de rotulações pseudo como um processo de tomada de decisão aprendível. O quadro opera em um ciclo fechado onde priores multimodais, seleção de rotulações pseudo e a rede de segmentação coevoluem. A arquitetura consiste em três componentes principais:

1. Prior Semântico-Espacial com MLLM (SPM)

Para inicializar propostas de segmentação suaves, o L2L alavanca um MLLM com parâmetros congelados para extrair pistas de fundamentação semântica para pares imagem-texto não rotulados. Essas pistas incentivam o SAM2 a gerar propostas de segmentação densas e suaves ($P^\dagger_i$), preservando a incerteza.

• Calibração Consciente da Incerteza: Reconhecendo que priores externos e previsões do modelo ($P^w_i$) podem entrar em conflito, o SPM funde-os no espaço de logits usando um peso adaptativo por pixel $\lambda(u)$. Esse peso é calculado com base em:
  • Certeza pixel a pixel: Uma pontuação baseada em margem $C(p)$ que aumenta à medida que as previsões se afastam da ambiguidade (0,5).
  • Acordo em nível de amostra: Uma pontuação de consistência global $W$ que mede o acordo entre a previsão fraca e o prior externo.
• Fusão: O prior calibrado $\tilde{P}^\dagger_i$ é gerado ponderando os logits do prior externo e a previsão do modelo. Isso garante que o modelo confie mais no prior externo quando está incerto, mas suprima o prior quando o modelo está confiante ou quando o acordo global é baixo.

2. Módulo de Segmentação de Autoevolução (SESM)

O SESM integra o prior calibrado em uma rede de segmentação hierárquica. Em vez de fusão estática, ele emprega um mecanismo de porta adaptativo por estágio para injetar orientação semântica e estrutural.

• Orientação Dual: O módulo combina um campo semântico ($S$) do codificador de texto e um campo estrutural ($G_j$) derivado do prior pixel a pixel.
• Porta Dinâmica: Um sinal de condicionamento unificado $M_j$ é sintetizado via fatores de porta aprendíveis por estágio ($\alpha_j, \beta_j$) que equilibram a desambiguação semântica de alto nível e o refinamento estrutural de baixo nível.
• Interação Dependente do Estágio: Para estágios rasos, o campo estrutural é aplicado via projeção local estrita para preservar a correspondência espacial. Para estágios profundos, o raciocínio relacional global é habilitado via atenção cruzada.
• Autoevolução: A orientação estrutural é atualizada iterativamente à medida que as previsões fracas do modelo melhoram, reduzindo progressivamente o ruído e aumentando a confiabilidade.

3. Exploração de Rotulação Pseudo Reforçada (RPLE)

Para abordar a subotimalidade dos limiares fixos, o RPLE formula a aceitação de rotulações pseudo como um processo de decisão de aprendizado por reforço (RL).

• Representação do Estado: O estado $s_t$ inclui características estatísticas da previsão fundida (média, desvio padrão), as proporções de pixels de primeiro plano/fundo/ignorados e a pontuação de acordo em nível de amostra.
• Buscador de Política: Uma rede Ator ($\pi_\phi$) produz limiares de confiança adaptativos para primeiro plano e fundo ($\tau_{fg}, \tau_{bg}$) para cada amostra.
• Critic e Recompensa: Uma rede Crítico ($Q_\phi$) avalia as rotulações pseudo selecionadas. A recompensa é definida como um Ganho Instrucional ($\Delta\Phi_t$) composto por três componentes:
  • Ganho de Separabilidade ($\Delta M$): Mede a fronteira contrastiva entre primeiro plano e fundo.
  • Ganho de Consistência ($\Delta K$): Mede o acordo entre a previsão do modelo e o prior calibrado.
  • Ganho de Cobertura ($\Delta C$): Mede a fração de pixels selecionados.
  • Uma penalidade de estabilidade é aplicada para evitar mudanças erráticas nos limiares.
• Otimização: A política é otimizada via gradientes de política determinísticos para maximizar a pontuação de qualidade cumulativa esperada, equilibrando dinamicamente precisão e cobertura durante todo o treinamento.

Contribuições Principais

1. Quadro de Aprendizado para Rotulação: Os autores introduzem o L2L, que transforma a construção de rotulações pseudo de um processo de limiarização estático para um processo de tomada de decisão aprendível e adaptativo à amostra, permitindo a mineração mais confiável de supervisão em nível de pixel sob anotações esparsas.
2. Priores Acionados por MLLM e Calibração: O trabalho introduz priores semântico-espaciais acionados por MLLM para inicializar a segmentação suave e propõe um mecanismo de seleção reforçada que identifica adaptativamente supervisão de alta utilidade fundindo priores multimodais com previsões do modelo.
3. Validação Empírica: Experimentos extensivos em RefCOCO, RefCOCO+ e RefCOCOg demonstram melhorias consistentes sobre métodos semissupervisionados e baselines existentes em vários orçamentos de rótulos (0,1% a 10%).

Resultados Experimentais

• Desempenho: O L2L alcança resultados state-of-the-art em todos os conjuntos de dados e orçamentos de rótulos. Notavelmente, sob o regime de rótulos extremamente baixos (0,1% de dados rotulados), o L2L supera contrapartes zero-shot e baselines semissupervisionados existentes (por exemplo, RESMatch, SemiRES).
• Estudos de Ablação:
  • A remoção individual de SPM, SESM ou RPLE leva à degradação do desempenho, confirmando a necessidade de fusão consciente da incerteza, orientação hierárquica e limiarização adaptativa.
  • A estratégia de ponderação no SESM (porta dinâmica) supera a fusão de peso fixo, validando a necessidade de equilibrar pistas semânticas e estruturais dinamicamente.
  • O RPLE supera significativamente a limiarização estática, que se mostra altamente sensível à escolha dos valores de limiar.
• Robustez: O método é robusto a variações nas escolhas de modelos fundacionais (por exemplo, SAM vs. SAM2, diferentes backbones de MLLM) e permanece eficaz mesmo quando priores de MLLM são substituídos por professores não-MLLM (por exemplo, CARIS, CGFormer).
• Eficiência: Os parâmetros treináveis adicionais introduzidos pelo L2L são modestos (~9,3M), e os componentes de RL são leves, adicionando custo de inferência negligenciável, pois os modelos fundacionais permanecem congelados.

Significado e Alegações

O artigo alega que o L2L fornece uma solução robusta para a construção de sistemas de segmentação referencial eficientes em dados sob custos de anotação extremamente baixos. Ao tratar a rotulagem pseudo como um processo de autoevolução reforçada, o quadro mitiga efetivamente a fragilidade de heurísticas de limiar fixo e a falta de confiabilidade de priores externos. Os autores afirmam que sua abordagem permite a otimização conjunta do modelo de segmentação e das rotulações pseudo, aprimorando progressivamente a confiabilidade dos rótulos. O trabalho é apresentado como um passo em direção a sistemas SS-RES generalizáveis que podem alavancar as capacidades de raciocínio de MLLMs sem serem impedidos por suas potenciais alucinações ou desvios de fundamentação.