HOI-R1: Exploring the Potential of Multimodal Large Language Models for Human-Object Interaction Detection

기술 요약: HOI-R1: 인간-사물 상호작용 탐지를 위한 멀티모달 거대 언어 모델의 잠재력 탐색

문제 정의
인간-사물 상호작용 탐지(Human-Object Interaction Detection, HOID)는 이미지 내에서 인간과 사물 사이의 상호작용을 식별하여, 인간 바운딩 박스, 사물 바운딩 박스, 사물 클래스, 상호작용 클래스의 튜플로 출력하는 것을 목표로 한다. 전통적인 HOID 방식은 객체 탐지기에 의존하는 탐지기 중심 패러다임을 따르며, 객체 탐지기가 제안(proposals)을 생성하면 그 뒤에 전용 상호작용 헤드(주로 트랜스포머 기반)가 레이블을 예측한다. 최근의 최첨단 접근 방식들은 롱테일(long-tailed) 주석 문제를 해결하기 위해 시각-언어 모델(VLM)의 사전 지식을 점점 더 많이 활용하고 있다. 그러나 이러한 방법들은 추가적인 모듈, 특정 학습 목적 함수, 그리고 탐지기와 상호작용 디코더 간의 구조적 결합을 요구하는 복잡한 파이프라인을 도입하며, 이는 확장성과 재사용성을 저해한다. 더욱이, 표준화된 프로토콜 내에서 상호작용에 대한 추론과 쌍(pair)의 위치를 동시에 수행하는 멀티모달 거대 언어 모델(MLLM)의 구조화된 HOID 작업에 대한 본질적인 추론 능력은 아직 충분히 탐구되지 않았다.

방법론
저자들은 객체 탐지기를 완전히 제거하고, MLLM을 이용한 자연어 추론을 통해 HOID를 엔드투엔드(end-to-end)로 해결하는 프레임워크인 HOI-R1을 제안한다. 이 접근 방식은 두 단계의 학습 패러다임을 포함한다:

1. 언어 기반 예측 및 프롬프트 설계:
   바운딩 박스 회귀 대신, 모델은 구조화된 자연어 형식(JSON)으로 HOI 인스턴스를 출력한다. 입력 프롬프트는 세 가지 구성 요소로 설계되었다:

• 태스크 지시(Task Instruction): 모델의 역할을 정의하고, 출력 공간을 제한하여 환각(hallucination)을 방지하기 위해 유효한 사물 및 상호작용 클래스의 전체 목록을 제공한다.
• 추론 가이드(Reasoning Guidance): 인간의 인지 과정을 모방하기 위해 작업을 순차적 단계(인간 식별, 동작 분석, 상호작용 결정)로 분해하는 "사고 과정(Thinking Process)" 섹션을 포함한다.
• 형식 예시(Format Example): 출력에 추론 체인(<thought> 태그 내)과 최종 예측(<answer> 태그 내)을 포함하도록 요구하며, 공간 좌표를 텍스트에 직접 포함하는 템플릿을 사용한다.

2. 사고 증류(Thinking Distillation)를 통한 지도 미세 조정(SFT):
   태스크 특화 지식을 전이하기 위해 교사-학생(teacher-student) 패러다임이 채택된다. 강력한 교사 모델(GPT4o-mini)이 학습용 이미지에 대한 단계별 추론 궤적을 생성한다. 학생 MLLM은 교사가 생성한 추론 궤적과 정답(ground-truth) HOI 트리플렛을 모두 예측하도록 SFT를 통해 학습된다. 이 "사고 증류"는 HOID 탐지의 논리적 과정을 내재화한다.

3. 커스텀 보상을 활용한 강화 학습(RL):
   SFT 이후, 모델은 구조적, 의미적, 기하학적 정렬을 보장하기 위해 네 가지 구성 요소로 이루어진 복합 보상 함수를 사용하여 그룹 상대 정책 최 optimization(GRPO)을 통해 정렬된다:

• 형식 보상(Format Reward): 출력이 필수 태그(<thought>, <answer>)와 유효한 JSON 키(human, object, object class, verb class)를 포함하는지 확인한다. 중복된 바운딩 박스나 잘못된 키 구조에 대해 페널티를 부여한다.
• 사물 및 동사 레이블 보상(Object and Verb Label Rewards): 예측된 레이블을 정답과 비교하여 정확한 사물 및 상호작용 클래스 예측을 장려한다(drop-on-match 전략 사용).
• HOI IoU 보상(HOI IoU Reward): 헝가리안 알고리즘(Hungarian algorithm)을 사용하여 인간과 사물 박스의 교집합 대비 합집합(IoU)을 기준으로 예측된 인간-사물 쌍을 정답 쌍과 매칭함으로써 기하학적 정렬 신호를 제공한다.

주요 기여

• HOI-R1 프레임워크: 객체 탐지기에 대한 의존성을 제거하고 자연어를 통해 HOID를 엔드투엔드로 해결하는 최초의 MLLM 프레임워크이다.
• 학습 패러다임: HOI 지식을 주입하기 위한 사고 증류(thinking distillation)가 포함된 SFT와, HOID 메트릭에 정렬하기 위한 특화된 보상 함수를 사용하는 RL을 결합한 2단계 학습 전략을 도입하였다.
• 보상 설계: 구조적, 의미적, 공간적 예측을 유도하는 요소별 보상 함수(형식, 레이블, IoU)를 개발하였다.

실험 결과
실험은 Qwen-VL 제품군(Qwen2.5-VL, Qwen3-VL) 및 Rex-Omni를 포함한 여러 오픈 소스 MLLM을 사용하여 HICO-DET 데이터셋에서 수행되었다.

• 성능 향상: HOI-R1은 모델 전반에 걸쳐 일관된 성능 향상을 보여준다. 특히, Qwen2.5-VL-3B에 HOI-R1을 적용했을 때, 단 1 에포크(epoch)의 SFT와 40 스텝의 RL 학습만으로 2배의 정확도 상승(Default 설정 하의 Full 카테고리에서 약 8.39 mAP에서 18.33 mAP로 증가)을 달성했다.
• SOTA와의 비교: HOI-R1 변형 모델인 Rex-Omni-3B는 Known Object 설정에서 27.00 mAP를 달성하여, 72B 파라미터 규모의 Qwen2.5-VL-AWQ 및 QPIC과 같은 전통적인 트랜스포머 기반 방식들을 능가했다.
• 효율성: HOI-R1은 수백 에포크가 필요한 전통적인 HOID 방식보다 훨씬 빠르게 수렴하며, 최소한의 학습 단계(1 epoch SFT + 40 RL steps)만으로 강력한 성능을 달성한다.
• 절제 연구(Ablation Studies): "사고(thinking)" 구성 요소를 제거하면 희귀 카테고리에서의 성능이 크게 저하되어 추론의 가치를 입증했다. IoU 보상을 제거하면 3.62 mAP의 상당한 하락이 발생하여 기하학적 정렬 보상의 필요성을 확인시켜 주었다.

의의 및 주장
본 논문은 HOI-R1이 MLLM 기반 HOID의 새로운 베이스라인을 구축하며, 거대 언어 모델이 특화된 탐지 모듈 없이도 복잡하고 구조화된 시각적 추론 작업을 처리할 수 있는 본질적인 잠재력을 가지고 있음을 입증한다고 주장한다. 자연어 추론과 강화 학습을 활용함으로써, 이 프레임워크는 경쟁력 있거나 우수한 성능을 달면서도 HOID 파이프라인을 단순화한다. 저자들은 이 연구를 HOID 아키텍처를 단순화하고 미세한 시각적 이해를 위한 MLLM의 추론 능력을 끌어올리는 단계로 규정한다.