Resumo Técnico: MHPR – Benchmark de Percepção e Raciocínio Humano Multidimensional

1. Declaração do Problema

Os atuais Modelos de Linguagem e Visão Grandes (LVLMs) e os benchmarks existentes enfrentam limitações significativas no suporte a aplicações do mundo real, como análise de filmes, humanos digitais virtuais e varejo inteligente. Embora trabalhos anteriores como RefCOCO, HERM-Bench e HumanRef tenham avançado na detecção centrada no ser humano e em Perguntas e Respostas Visuais (VQA) simples, eles focam majoritariamente em dimensões de tarefas únicas (por exemplo, detecção ou classificação) e carecem de anotações multidimensionais e de alta granularidade.

Especificamente, os conjuntos de dados existentes falham em avaliar de forma abrangente a percepção conjunta e o raciocínio necessários para a compreensão complexa de cena-humano. Eles frequentemente omitem:

• Atributos de alta granularidade: Descrições detalhadas de aparência, vestuário, pose e partes do corpo.
• Semântica de alto nível: Compreensão de relações sociais, semântica de ações, relações espaciais e a intenção ou funcionalidade por trás das interações humano-humano e humano-objeto.
• Escopo multidimensional: A capacidade de lidar simultaneamente com cenários de indivíduo único, múltiplas pessoas e interações humano-objeto.

Essa lacuna resulta em limitações práticas, como a diversidade visual limitada na geração de humanos digitais virtuais e a incapacidade de sistemas de análise de filmes rastrear robustamente relações de grupo ou interações dinâmicas através de linhas narrativas.

2. Metodologia

Os autores introduzem o MHPR (Percepção e Raciocínio Humano Multidimensional), um benchmark abrangente projetado para preencher essas lacunas por meio de um design sistemático de dados e um pipeline de geração automatizada.

2.1 Design de Dados Multinível

O MHPR emprega uma estrutura de dados de quatro níveis para suportar diferentes estágios de desenvolvimento de modelos:

1. Dados Brutos Legendados (C-RD): Preserva abertura e extensibilidade, permitindo que pesquisadores personalizem novas tarefas e dimensões de avaliação.
2. Dados de Ajuste Fino Supervisionado (SFT-D): Consiste em amostras VQA em larga escala relacionadas a tarefas, estritamente alinhadas em formato com os dados de teste. Esta camada é projetada para aprender capacidades fundamentais de seguimento de instruções e fornecer uma linha de base de alinhamento estável.
3. Dados de Aprendizado por Reforço (RL-D): Um conjunto de dados avançado construído através de análise sistemática de "casos ruins" de erros do modelo no conjunto de teste. Visa modos de falha específicos (relações espaciais, percepção de alta granularidade e calibração de profundidade de raciocínio) para aprimorar a percepção e o raciocínio em instâncias difíceis.
4. Dados de Teste (T-D): Usados para avaliação objetiva, garantindo consistência com o SFT-D em composição e paradigmas de anotação.

2.2 Fontes de Dados

O benchmark integra três conjuntos de dados de código aberto para garantir amplitude, profundidade e estabilidade:

• COYO-700M: Fornece uma coleção em larga escala, de domínio aberto e estilisticamente diversa de pares imagem-texto para pré-treinamento geral e generalização entre domínios.
• HumanCaption-10M: Oferece descrições centradas no ser humano, de ampla cobertura, de alta granularidade e ricas em contexto para corpora de treinamento.
• HumanCaption-HQ-311K: Um subconjunto refinado de alta confiança e baixo ruído utilizado para alinhamento e calibração.

2.3 Pipeline Automatizado de Geração de Legendas e VQA (ACVG)

Para abordar a intensidade de mão de obra da anotação manual, os autores propõem o ACVG, que utiliza um mecanismo de votação multi-modelo para garantir anotações de alta qualidade e escaláveis com curadoria humana mínima.

• Pipeline de Autoanotação de Legendas (CAAP):
  • Filtragem: Um pipeline de quatro etapas (Detecção Humana, Filtragem de Escala, Verificação de Completude de Pontos Chave e Filtragem de Imagens de Colagem) remove imagens de baixa qualidade ou irrelevantes.
  • Geração e Fusão: Três geradores locais de legendas (Qwen, Intern, Llama) produzem legendas iniciais. Um orquestrador LLM forte realiza detecção estruturada de discordância (GetDiff), correção de conflitos via votação multi-fonte (Vote) e fusão em nível de esquema (Mix) para produzir uma única legenda precisa.
• Pipeline de Geração Automática de VQA (VAGP):
  • Proposta de Perguntas: Gera perguntas candidatas em três dimensões semânticas (pessoa única, múltiplas pessoas, humano-objeto) com base em legendas de alta qualidade.
  • Resposta Tri-MLLM: Três MLLMs heterogêneos respondem às perguntas em paralelo.
  • Filtragem de Consistência: As respostas são normalizadas e comparadas. A concordância exata de três vias gera amostras "fáceis" para treinamento; discordâncias são sinalizadas como "difíceis" ou ambíguas para revisão humana ou correção semiautomática.

2.4 Dimensões de Avaliação

O benchmark avalia modelos em três dimensões de cenário complementares:

• Pessoa Única: Aparência, atributos (idade, gênero, ocupação) e localização referencial.
• Múltiplas Pessoas: Relações interpessoais, laços sociais e análise comparativa.
• Pessoa e Objeto: Interações entre pessoas específicas e objetos não humanos.

Essas dimensões cobrem atributos de alta granularidade (aparência, vestuário, pose, partes) e semântica de alto nível (relações sociais, semântica de ações, relações espaciais, intenção e funcionalidade).

3. Contribuições Principais

1. Benchmark MHPR: Um benchmark multidimensional centrado no ser humano que avalia conjuntamente percepção e raciocínio em cenários de interação individual, múltiplas pessoas e humano-objeto. Aborda lacunas-chave na compreensão complexa de cena-humano cobrindo tanto atributos de alta granularidade quanto semântica de alto nível.
2. Design de Dados Multinível e Pipeline ACVG: A introdução de uma pilha de dados estruturada (C-RD, SFT-D, RL-D, T-D) e do pipeline ACVG. O pipeline emprega votação multi-modelo e correção de consistência para produzir legendas e VQA de alta qualidade com esforço manual mínimo, melhorando significativamente a escalabilidade e a qualidade da anotação.
3. Construção de Dados RL Direcionada: A identificação de três lacunas de capacidade específicas nos LVLMs atuais (relações espaciais, percepção de alta granularidade e calibração de profundidade de raciocínio) e a construção de um conjunto de dados RL direcionado para abordar essas fraquezas específicas através da análise de casos ruins.

4. Resultados Experimentais

Os autores treinaram o Qwen2.5-VL-7B usando o conjunto de dados MHPR (especificamente os componentes SFT-D e RL-D) para criar o Qwen2.5-VL-7B-SFT.

• Desempenho: O modelo ajustado fino alcançou uma precisão média de 81,40% em múltiplos subconjuntos, superando o Qwen2.5-VL-7B-Instruct base (79,33%) e o InternVL3-8B (77,64%).
• Força Comparativa: O Qwen2.5-VL-7B-SFT demonstrou ganhos significativos em subconjuntos que exigem raciocínio e percepção de alta granularidade (por exemplo, Assuntos 4, 5, 6, 7, 8).
• Eficiência: O modelo de 7B parâmetros treinado com MHPR alcançou paridade próxima e, em alguns casos, superou modelos consideravelmente maiores, validando a eficácia do conjunto de dados personalizado e da metodologia de treinamento.

5. Significado e Alegações

O artigo afirma que o MHPR fornece uma estrutura necessária para avançar a IA centrada no ser humano, movendo-se além da verificação mecânica de alvos em direção a uma compreensão mais profunda e consciente do contexto.

• Modelagem Conjunta: Os resultados sugerem que modelar conjuntamente percepção de alta granularidade e raciocínio semântico de alto nível é crítico para ganhos de desempenho em tarefas centradas no ser humano.
• Qualidade de Dados sobre Escala: O estudo demonstra que dados SFT alinhados em formato e dados RL focados em desafios podem melhorar substancialmente o seguimento de instruções, a estabilidade e as capacidades de raciocínio, frequentemente produzindo resultados melhores do que simplesmente aumentar o tamanho do modelo.
• Anotação Escalável: O pipeline ACVG prova que dados centrados no ser humano de alta qualidade e escaláveis podem ser gerados com curadoria manual mínima através de votação multi-modelo e correção automática de consistência.
• Desafios Identificados: O trabalho destaca que a compreensão espacial (modelagem de ponto de vista), a percepção de alta granularidade sob oclusão e a calibração da profundidade de raciocínio (saber quando não inferir) permanecem como grandes desafios para os LVLMs atuais, fornecendo uma direção clara para pesquisas futuras.

Ao liberar o ACVG e o MHPR, os autores visam facilitar pesquisas reprodutíveis e extensíveis em percepção e raciocínio centrados no ser humano, oferecendo um caminho prático para aplicações de visão e linguagem mais robustas e inteligentes.