기술 요약: MHPR – 다차원 인간 지각 및 추론 벤치마크

1. 문제 제기

현재의 대규모 비전 - 언어 모델 (LVLM) 과 기존 벤치마크는 영화 분석, 가상 디지털 인간, 지능형 소매와 같은 실세계 응용을 지원하는 데 있어 상당한 한계에 직면해 있습니다. RefCOCO, HERM-Bench, HumanRef 와 같은 이전 연구들은 인간 중심의 탐지 및 단순한 시각적 질문 응답 (VQA) 을 발전시켰지만, 주로 단일 작업 차원 (예: 탐지 또는 분류) 에 초점을 맞추고 있으며 세밀한 다차원 주석을 결여하고 있습니다.

구체적으로, 기존 데이터셋은 복잡한 인간 - 장면 이해에 필요한 통합된 지각과 추론을 포괄적으로 평가하지 못합니다. 종종 다음과 같은 요소들이 누락됩니다:

• 세밀한 속성: 외모, 의상, 자세, 신체 부위에 대한 상세한 설명.
• 고수준 의미: 사회적 관계, 행동 의미, 공간적 관계, 그리고 인간 - 인간 및 인간 - 객체 상호작용 뒤에 숨겨진 의도나 기능에 대한 이해.
• 다차원 범위: 개인, 다중 인물, 인간 - 객체 상호작용 시나리오를 동시에 처리할 수 있는 능력.

이러한 격차는 가상 디지털 인간 생성 시 시각적 다양성의 제한이나 영화 분석 시스템이 서사적 흐름 전반에 걸쳐 그룹 관계나 역동적 상호작용을 견고하게 추적하지 못하는 것과 같은 실용적 한계로 이어집니다.

2. 방법론

저자들은 체계적인 데이터 설계와 자동화된 생성 파이프라인을 통해 이러한 격차를 해소하기 위해 **MHPR(다차원 인간 지각 및 추론)**이라는 포괄적인 벤치마크를 소개합니다.

2.1 다단계 데이터 설계

MHPR 은 모델 개발의 다양한 단계를 지원하기 위해 4 단계 데이터 구조를 사용합니다:

1. 자막이 달린 원시 데이터 (C-RD): 개방성과 확장성을 유지하여 연구자들이 새로운 작업과 평가 차원을 사용자 정의할 수 있도록 합니다.
2. 지도 미세 조정 데이터 (SFT-D): 테스트 데이터와 형식이 엄격하게 일치하는 대규모 작업 관련 VQA 샘플로 구성됩니다. 이 계층은 기본적인 지시 따르기 능력을 학습하고 안정적인 정렬 기준선을 제공하도록 설계되었습니다.
3. 강화 학습 데이터 (RL-D): 테스트 세트에서 모델 오류에 대한 체계적인 '나쁜 사례 (bad-case)' 분석을 통해 구축된 고급 데이터셋입니다. 이는 공간적 관계, 세밀한 지각, 추론 깊이 보정과 같은 특정 실패 모드를 대상으로 하여 어려운 인스턴스에서의 지각과 추론을 향상시킵니다.
4. 테스트 데이터 (T-D): 객관적 평가를 위해 사용되며, 구성 및 주석 패러다임에서 SFT-D 와 일관성을 보장합니다.

2.2 데이터 소스

이 벤치마크는 폭, 깊이, 안정성을 보장하기 위해 세 가지 오픈 소스 데이터셋을 통합합니다:

• COYO-700M: 일반 사전 학습 및 교차 도메인 일반화를 위한 대규모, 오픈 도메인, 스타일이 다양한 이미지 - 텍스트 쌍 컬렉션을 제공합니다.
• HumanCaption-10M: 학습 코퍼스를 위한 광범위한 커버리지, 세밀한, 맥락이 풍부한 인간 중심 설명을 제공합니다.
• HumanCaption-HQ-311K: 정렬 및 보정에 사용되는 높은 신뢰도, 낮은 노이즈의 정제된 하위 집합입니다.

2.3 자동화된 자막 및 VQA 생성 파이프라인 (ACVG)

수동 주석의 노동 집약성을 해결하기 위해 저자들은 최소한의 인간 큐레이션으로 고품질 확장 가능한 주석을 보장하는 다중 모델 투표 메커니즘을 활용하는 ACVG 를 제안합니다.

• 자막 자동 주석 파이프라인 (CAAP):
  • 필터링: 인간 탐지, 규모 필터링, 키포인트 완전성 확인, 콜라주 이미지 필터링의 4 단계 파이프라인이 저품질 또는 관련 없는 이미지를 제거합니다.
  • 생성 및 융합: 세 개의 로컬 자막 생성기 (Qwen, Intern, Llama) 가 초기 자막을 생성합니다. 강력한 LLM 오케스트레이터가 구조화된 불일치 감지 (GetDiff), 다중 소스 투표를 통한 충돌 수정 (Vote), 그리고 스키마 수준의 융합 (Mix) 을 수행하여 단일하고 정확한 자막을 생성합니다.
• VQA 자동 생성 파이프라인 (VAGP):
  • 질문 제안: 고품질 자막을 기반으로 세 가지 의미 차원 (단일 인물, 다중 인물, 인간 - 객체) 에 걸쳐 후보 질문을 생성합니다.
  • Tri-MLLM 답변: 이질적인 세 개의 MLLM 이 질문을 병렬로 답변합니다.
  • 일관성 필터링: 답변이 정규화되고 비교됩니다. 정확한 3 일치 합의는 학습을 위한 '쉬운' 샘플을 산출하고, 불일치는 인간 검토 또는 반자동 수정을 위한 '어려운' 또는 모호한 것으로 플래그가 지정됩니다.

2.4 평가 차원

이 벤치마크는 세 가지 상호 보완적인 시나리오 차원에서 모델을 평가합니다:

• 단일 인물: 외모, 속성 (나이, 성별, 직업), 그리고 지시적 위치 확인.
• 다중 인물: 대인 관계, 사회적 유대, 그리고 비교 분석.
• 인간과 객체: 특정 인간과 비인간 객체 간의 상호작용.

이러한 차원들은 세밀한 속성 (외모, 의상, 자세, 부위) 과 고수준 의미 (사회적 관계, 행동 의미, 공간적 관계, 의도, 기능) 를 모두 포괄합니다.

3. 주요 기여

1. MHPR 벤치마크: 개인, 다중 인물, 인간 - 객체 상호작용 시나리오 전반에 걸쳐 지각과 추론을 통합적으로 평가하는 인간 중심의 다차원 벤치마크입니다. 이는 세밀한 속성과 고수준 의미를 모두 포괄함으로써 복잡한 인간 - 장면 이해의 주요 격차를 해소합니다.
2. 다단계 데이터 설계 및 ACVG 파이프라인: 구조화된 데이터 스택 (C-RD, SFT-D, RL-D, T-D) 과 ACVG 파이프라인의 도입. 이 파이프라인은 다중 모델 투표와 일관성 수정을 활용하여 최소한의 수동 노력으로 고품질 자막과 VQA 를 생성하며, 확장성과 주석 품질을 크게 향상시킵니다.
3. 표적 RL 데이터 구축: 현재 LVLM 의 세 가지 특정 능력 격차 (공간적 관계, 세밀한 지각, 추론 깊이 보정) 를 식별하고, 나쁜 사례 분석을 통해 이러한 특정 약점을 해결하기 위한 표적 RL 데이터셋을 구축했습니다.

4. 실험 결과

저자들은 MHPR 데이터셋 (특히 SFT-D 및 RL-D 구성 요소) 을 사용하여 Qwen2.5-VL-7B를 학습시켜 Qwen2.5-VL-7B-SFT를 생성했습니다.

• 성능: 미세 조정된 모델은 여러 하위 집합에서 평균 정확도 **81.40%**를 달성하여 베이스 Qwen2.5-VL-7B-Instruct(79.33%) 와 InternVL3-8B(77.64%) 를 능가했습니다.
• 비교적 강점: Qwen2.5-VL-7B-SFT 는 세밀한 추론과 지각이 필요한 하위 집합 (예: Subject 4, 5, 6, 7, 8) 에서 상당한 향상을 보여주었습니다.
• 효율성: MHPR 로 학습된 7B 파라미터 모델은 훨씬 더 큰 모델과 거의 동등한 성능을 달성했으며, 경우에 따라 능가하여 커스텀 데이터셋과 학습 방법론의 유효성을 입증했습니다.

5. 중요성과 주장

이 논문은 MHPR 이 기계적 대상 검증을 넘어 더 깊고 맥락 인식적인 이해로 이동함으로써 인간 중심 AI 를 발전시키는 데 필수적인 프레임워크를 제공한다고 주장합니다.

• 통합 모델링: 결과는 세밀한 지각과 고수준 의미 추론을 통합적으로 모델링하는 것이 인간 중심 작업의 성능 향상에 중요함을 시사합니다.
• 규모보다 데이터 품질: 이 연구는 형식이 정렬된 SFT 데이터와 도전 과제 중심의 RL 데이터가 지시 따르기, 안정성, 추론 능력을 크게 향상시킬 수 있으며, 종종 모델 크기 증가만으로는 얻기 어려운 더 나은 결과를 산출함을 보여줍니다.
• 확장 가능한 주석: ACVG 파이프라인은 다중 모델 투표와 자동화된 일관성 수정을 통해 최소한의 수동 큐레이션으로 고품질 확장 가능한 인간 중심 데이터를 생성할 수 있음을 입증합니다.
• 식별된 과제: 이 작업은 공간적 이해 (시점 모델링), 가림 상태 하의 세밀한 지각, 그리고 추론 깊이의 보정 (추론하지 말아야 할 때를 아는 것) 이 현재 LVLM 들의 주요 과제임을 강조하여 향후 연구에 대한 명확한 방향을 제시합니다.

ACVG 와 MHPR 을 공개함으로써 저자들은 인간 중심 지각 및 추론 분야에서 재현 가능하고 확장 가능한 연구를 촉진하고, 더 견고하고 지능적인 비전 - 언어 응용을 위한 실용적인 경로를 제공하고자 합니다.