Resumen Técnico: MHPR – Benchmark de Percepción y Razonamiento Humano Multidimensional

1. Declaración del Problema

Los Modelos de Lenguaje y Visión Grandes (LVLM) actuales y los benchmarks existentes enfrentan limitaciones significativas para apoyar aplicaciones del mundo real como el análisis cinematográfico, los humanos digitales virtuales y el comercio minorista inteligente. Si bien trabajos anteriores como RefCOCO, HERM-Bench y HumanRef han avanzado en la detección centrada en el ser humano y en la Respuesta a Preguntas Visuales (VQA) simple, se centran principalmente en dimensiones de tareas únicas (por ejemplo, detección o clasificación) y carecen de anotaciones multidimensionales y de alta granularidad.

Específicamente, los conjuntos de datos existentes no logran evaluar de manera integral la percepción y el razonamiento conjuntos requeridos para la comprensión compleja de escenas humanas. A menudo omiten:

• Atributos de alta granularidad: Descripciones detalladas de la apariencia, la ropa, la pose y las partes del cuerpo.
• Semántica de alto nivel: Comprensión de las relaciones sociales, la semántica de las acciones, las relaciones espaciales, y la intención o funcionalidad detrás de las interacciones humano-humano y humano-objeto.
• Alcance multidimensional: La capacidad de manejar simultáneamente escenarios de interacción individual, multi-persona y humano-objeto.

Esta brecha resulta en limitaciones prácticas, como la diversidad visual limitada en la generación de humanos digitales virtuales y la incapacidad de los sistemas de análisis cinematográfico para rastrear de manera robusta las relaciones grupales o las interacciones dinámicas a través de hilos narrativos.

2. Metodología

Los autores introducen MHPR (Percepción y Razonamiento Humano Multidimensional), un benchmark integral diseñado para cerrar estas brechas mediante un diseño de datos sistemático y una pipeline de generación automatizada.

2.1 Diseño de Datos Multinivel

MHPR emplea una estructura de datos de cuatro niveles para apoyar diferentes etapas del desarrollo de modelos:

1. Datos Crudos con Descripción (C-RD): Preserva la apertura y la extensibilidad, permitiendo a los investigadores personalizar nuevas tareas y dimensiones de evaluación.
2. Datos de Ajuste Fino Supervisado (SFT-D): Consiste en muestras de VQA relacionadas con tareas a gran escala, estrictamente alineadas en formato con los datos de prueba. Esta capa está diseñada para aprender habilidades fundamentales de seguimiento de instrucciones y proporcionar una línea base de alineación estable.
3. Datos de Aprendizaje por Refuerzo (RL-D): Un conjunto de datos avanzado construido mediante un análisis sistemático de "casos deficientes" de errores del modelo en el conjunto de pruebas. Apunta a modos de fallo específicos (relaciones espaciales, percepción de alta granularidad y calibración de la profundidad del razonamiento) para mejorar la percepción y el razonamiento en instancias difíciles.
4. Datos de Prueba (T-D): Utilizados para la evaluación objetiva, asegurando consistencia con SFT-D en composición y paradigmas de anotación.

2.2 Fuentes de Datos

El benchmark integra tres conjuntos de datos de código abierto para garantizar amplitud, profundidad y estabilidad:

• COYO-700M: Proporciona una colección a gran escala, de dominio abierto y estilísticamente diversa de pares imagen-texto para preentrenamiento general y generalización entre dominios.
• HumanCaption-10M: Ofrece descripciones centradas en el ser humano de amplio alcance, de alta granularidad y ricas en contexto para los corpus de entrenamiento.
• HumanCaption-HQ-311K: Un subconjunto refinado de alta confianza y bajo ruido utilizado para la alineación y la calibración.

2.3 Pipeline Automatizado de Generación de Descripciones y VQA (ACVG)

Para abordar la intensidad laboral de la anotación manual, los autores proponen ACVG, que utiliza un mecanismo de votación de múltiples modelos para garantizar anotaciones de alta calidad y escalables con una curación humana mínima.

• Pipeline de Autoanotación de Descripciones (CAAP):
  • Filtrado: Una pipeline de cuatro etapas (Detección Humana, Filtrado de Escala, Verificación de Completitud de Puntos Clave y Filtrado de Imágenes de Collage) elimina imágenes de baja calidad o irrelevantes.
  • Generación y Fusión: Tres generadores locales de descripciones (Qwen, Intern, Llama) producen descripciones iniciales. Un orquestador LLM potente realiza la detección estructurada de desacuerdos (GetDiff), la corrección de conflictos mediante votación de múltiples fuentes (Vote) y la fusión a nivel de esquema (Mix) para producir una única descripción precisa.
• Pipeline de Generación Automática de VQA (VAGP):
  • Propuesta de Preguntas: Genera preguntas candidatas en tres dimensiones semánticas (persona única, múltiples personas, humano-objeto) basadas en descripciones de alta calidad.
  • Respuesta Tri-MLLM: Tres MLLMs heterogéneos responden a las preguntas en paralelo.
  • Filtrado de Consistencia: Las respuestas se normalizan y comparan. El acuerdo exacto de tres vías produce muestras "fáciles" para el entrenamiento; los desacuerdos se marcan como "difíciles" o ambiguos para su revisión humana o corrección semiautomática.

2.4 Dimensiones de Evaluación

El benchmark evalúa los modelos a través de tres dimensiones de escenario complementarias:

• Persona Única: Apariencia, atributos (edad, género, ocupación) y localización referencial.
• Múltiples Personas: Relaciones interpersonales, lazos sociales y análisis comparativo.
• Persona y Objeto: Interacciones entre personas específicas y objetos no humanos.

Estas dimensiones cubren atributos de alta granularidad (apariencia, ropa, pose, partes) y semántica de alto nivel (relaciones sociales, semántica de acciones, relaciones espaciales, intención y funcionalidad).

3. Contribuciones Clave

1. Benchmark MHPR: Un benchmark multidimensional centrado en el ser humano que evalúa conjuntamente la percepción y el razonamiento en escenarios de interacción individual, multi-persona y humano-objeto. Aborda brechas clave en la comprensión compleja de escenas humanas cubriendo tanto atributos de alta granularidad como semántica de alto nivel.
2. Diseño de Datos Multinivel y Pipeline ACVG: La introducción de una pila de datos estructurada (C-RD, SFT-D, RL-D, T-D) y la pipeline ACVG. La pipeline emplea votación de múltiples modelos y corrección de consistencia para producir descripciones y VQA de alta calidad con esfuerzo manual mínimo, mejorando significativamente la escalabilidad y la calidad de la anotación.
3. Construcción de Datos RL Dirigida: La identificación de tres brechas de capacidad específicas en los LVLM actuales (relaciones espaciales, percepción de alta granularidad y calibración de la profundidad del razonamiento) y la construcción de un conjunto de datos RL dirigido para abordar estas debilidades específicas mediante el análisis de casos deficientes.

4. Resultados Experimentales

Los autores entrenaron Qwen2.5-VL-7B utilizando el conjunto de datos MHPR (específicamente los componentes SFT-D y RL-D) para crear Qwen2.5-VL-7B-SFT.

• Rendimiento: El modelo ajustado fino logró una precisión promedio del 81.40% en múltiples subconjuntos, superando al Qwen2.5-VL-7B-Instruct base (79.33%) y a InternVL3-8B (77.64%).
• Fortaleza Comparativa: Qwen2.5-VL-7B-SFT demostró ganancias significativas en subconjuntos que requieren razonamiento y percepción de alta granularidad (por ejemplo, Sujetos 4, 5, 6, 7, 8).
• Eficiencia: El modelo de 7 mil millones de parámetros entrenado con MHPR alcanzó una paridad cercana, y en algunos casos superó, a modelos considerablemente más grandes, validando la eficacia del conjunto de datos personalizado y la metodología de entrenamiento.

5. Significado y Afirmaciones

El artículo afirma que MHPR proporciona un marco necesario para avanzar en la IA centrada en el ser humano, pasando de la verificación mecánica de objetivos hacia una comprensión más profunda y consciente del contexto.

• Modelado Conjunto: Los resultados sugieren que modelar conjuntamente la percepción de alta granularidad y el razonamiento semántico de alto nivel es crítico para las ganancias de rendimiento en tareas centradas en el ser humano.
• Calidad de Datos sobre Escala: El estudio demuestra que los datos de SFT alineados en formato y los datos de RL enfocados en desafíos pueden mejorar sustancialmente el seguimiento de instrucciones, la estabilidad y las capacidades de razonamiento, arrojando a menudo mejores resultados que simplemente aumentar el tamaño del modelo.
• Anotación Escalable: La pipeline ACVG demuestra que datos centrados en el ser humano de alta calidad y escalables pueden generarse con una curación manual mínima mediante votación de múltiples modelos y corrección de consistencia automatizada.
• Desafíos Identificados: El trabajo destaca que la comprensión espacial (modelado del punto de vista), la percepción de alta granularidad bajo oclusión y la calibración de la profundidad del razonamiento (saber cuándo no inferir) siguen siendo desafíos importantes para los LVLM actuales, proporcionando una dirección clara para la investigación futura.

Al liberar ACVG y MHPR, los autores buscan facilitar la investigación reproducible y extensible en la percepción y el razonamiento centrados en el ser humano, ofreciendo un camino práctico hacia aplicaciones de visión y lenguaje más robustas e inteligentes.