Resumo Técnico: Além de Atalhos Unimodais: MLLMs como Raciocinadores Cross-Modais para Reconhecimento de Entidades Nomeadas com Ancoragem (Grounded)

1. Definição do Problema e Motivação

O Reconhecimento de Entidades Nomeadas Multimodal com Ancoragem (GMNER) é uma tarefa que exige que um modelo identifique simultaneamente entidades nomeadas em um texto, classifique seus tipos semânticos e as ancore a caixas delimitadoras (bounding boxes) visuais correspondentes em uma imagem associada. Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham mostrado promessa em tarefas de visão-linguagem, sua aplicação direta ao GMNER enfrenta uma patologia crítica: o viés de modalidade.

Os autores identificam que os MLLMs atuais tendem a confiar em atalhos cognitivos unimodais em vez de se engajarem em uma verificação cross-modal rigorosa. Isso se manifesta em dois padrões primários de erro:

• Viés Textual: O modelo ignora a evidência visual, ancorando incorretamente entidades puramente textuais a regiões visuais baseadas em heurísticas textuais (ex: ancorar "Iggy" a uma pessoa na imagem porque o texto menciona um nome, mesmo que a imagem mostre uma pessoa diferente).
• Viés Visual: O modelo negligencia a semântica textual, alucinando entidades ou localizações baseadas em pistas visuais que não estão presentes no texto (ex: recordar "Manchester United" como uma entidade porque ela aparece visualmente, apesar de não ser mencionada na frase).

Abordagens existentes frequentemente tratam os MLLMs como ferramentas auxiliares dentro de pipelines em cascata (ex: usando-os apenas para descrição de imagem), o que introduz propagação de erro cumulativa e sobrecarga computacional. Este trabalho visa reformular o GMNER como uma tarefa de raciocínio generativo de ponta a ponta (end-to-end) para explorar plenamente o potencial de raciocínio cross-modal dos MLLMs enquanto mitiga esses vieses.

2. Metodologia: Raciocínio de Consistência Sensível à Modalidade (MCR)

Para abordar o viés de modalidade, os autores propõem o Raciocínio de Consistência Sensível à Modalidade (MCR), um framework que impõe um raciocínio cross-modal estruturado. O MCR consiste em duas etapas principais:

2.1 Injeção de Esquema de Raciocínio de Múltiplos Estilos (MRSI)

O MRSI visa transformar restrições abstratas em cadeias de raciocínio executáveis.

• Restrições Principais: O framework define quatro restrições específicas alinhadas com a tarefa: Reconhecimento de Entidade ($C_s$), Classificação de Tipo ($C_t$), Implicação Visual ($C_e$) e Ancoragem Visual ($C_u$).
• Geração de Esquemas Diversos: Usando templates, LLMs e MLLMs, os autores geram um conjunto de dados diversificado de traços de raciocínio ($D_R$) que aderem a essas restrições. Esses traços variam em estilo (ex: análise passo a passo, saída formatada, orientada à conclusão) para evitar que o modelo colapse em uma única trajetória de raciocínio potencialmente enviesada.
• Ajuste Fino Supervisionado (SFT): Um subconjunto desses esquemas de raciocínio diversos é injetado no MLLM via SFT. Isso obriga o modelo a manter um caminho de raciocínio que verifica explicitamente a consistência cross-modal antes de gerar a resposta final.

2.2 Otimização Verificável Guiada por Restrições (CVO)

O CVO utiliza o restante dos dados de raciocínio diversos para otimizar ainda mais as capacidades de raciocínio do modelo usando Otimização de Política Relativa de Grupo (GRPO).

• Funções de Recompensa Verificáveis: Ao contrário do RLHF tradicional que depende de modelos de recompensa aprendidos, o CVO usa funções de recompensa baseadas em regras e verificáveis, ancoradas às restrições principais. Estas incluem:
  • Recompensas de Contagem de Entidade, Extensão (Span) e Tipo: Baseadas em scores F1 e no pareamento de entidades previstas com o ground truth.
  • Recompensa de Ancoragem Visual: Baseada na Interseção sobre União (IoU) entre as caixas delimitadoras previstas e o ground-truth.
  • Recompensa de Implicação (Entailment): Uma verificação binária sobre se o modelo identifica corretamente se uma entidade está visível ou ausente (None).
• Processo de Otimização: O modelo gera um grupo de respostas diversas para uma determinada consulta. As recompensas verificáveis são computadas para cada resposta, e a vantagem do grupo é calculada. A política é atualizada para maximizar a recompensa enquanto penaliza atalhos unimodais, incentivando efetivamente o modelo a gerar justificativas "fiéis às restrições".

3. Principais Contribuições

O artigo reivindica três contribuições primárias:

1. Diagnóstico de Viés de Modalidade: Os autores identificam e quantificam a tendência dos MLLMs de utilizar atalhos cognitivos unimodais no GMNER de ponta a ponta, revelando que os modelos frequentemente alucinam correlações sem uma verificação cross-modal rigorosa.
2. Framework MCR: Eles propõem um novo framework que impõe raciocínio explícito e fiel às restrições através de injeção de esquema (MRSI) e otimização verificável (CVO) para mitigar o viés de modalidade.
3. Superioridade de Desempenho: O método alcança desempenho superior em múltiplos benchmarks comparado às bases existentes, demonstrando que o raciocínio estruturado é essencial para uma ancoragem cross-modal precisa.

4. Resultados Experimentais

Os autores avaliaram o MCR no dataset Twitter-GMNER, bem como no MNER-MI (para MNER) e GREC (para Ancoragem Visual). Eles testaram no Qwen2.5VL (7B e 72B) e no MimoVL-7B.

• Resultados Principais: Na tarefa de GMNER, o MCR (aplicado ao Qwen2.5VL-7B) alcançou um F1 score de 70,6%, superando o melhor método unificado anterior (MQSPN) em 11,87% e o melhor método de pipeline (SCANNER) em 2,11%. Também superou o Ajuste Fino Supervisionado (SFT) direto em aproximadamente 8% no modelo de 7B.
• Mitigação de Viés:
  • Viés Visual: A análise quantitativa mostrou que o MCR reduziu a taxa de alucinação de entidades ausentes no texto (N-Rate) para níveis quase insignificantes (0,1% para Qwen2.5VL-7B), uma melhoria significativa sobre CoT e few-shot prompting.
  • Viés Textual: Métricas medindo a habilidade de identificar corretamente entidades sem localização visual (N-Pre, N-Rec) melhoraram em quase 14% em relação ao SFT, indicando que o modelo tornou-se melhor em julgar a implicação entre texto e imagem.
• Estudos de Ablação: A remoção do MRSI causou uma queda drástica de 18,95% no F1, confirmando a necessidade do caminho de raciocínio. A remoção do CVO resultou em um ganho marginal sobre o MRSI isolado, destacando a importância da etapa de otimização para refinar as capacidades de verificação. Demonstrou-se que esquemas de raciocínio de múltiplos estilos são superiores aos de estilo único para estabilizar o treinamento e melhorar as recompensas finais.

5. Significância e Limitações

Significância:
O artigo argumenta que a principal barreira para um GMNER de ponta a ponta eficaz com MLLMs não é a falta de capacidade, mas a dependência de heurísticas unimodais. Ao mudar o paradigma do alinhamento de características para o raciocínio cross-modal estruturado, o MCR permite que os MLLMs realizem uma verificação de consistência rigorosa. Esta abordagem oferece um novo caminho para a construção de grafos de conhecimento e facilitação de perguntas e respostas baseadas em conhecimento, sem a propagação de erro inerente aos pipelines em cascata.

Limitações:
Os autores reconhecem modestamente que o MCR permanece limitado pelos limites de conhecimento paramétrico inerentes dos MLLMs subjacentes. Como o framework depende da base de conhecimento interna do modelo para o reconhecimento de entidades, ele pode ter dificuldade em generalizar para entidades não vistas que estão ausentes do corpus de pré-treinamento. Adicionalmente, o framework não resolve inerentemente questões relacionadas à familiaridade visual do modelo com entidades específicas (ex: reconhecer a aparência de uma celebridade específica).