Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition

이 논문은 객체 탐지와 상호작용 인식을 분리하고 다중 모달 대규모 언어 모델 (MLLM) 을 활용하여 훈련 없이 제로샷 인간 - 객체 상호작용 (HOI) 감지를 가능하게 하는 새로운 프레임워크를 제안합니다.

핵심

🎬 비유: "명탐정과 만능 번역기"

과거의 방식과 이 논문의 방식을 비교하면 이해하기 쉽습니다.

1. 기존 방식: "단짝 친구들" (Coupled Methods)

기존의 인공지능은 **사람을 찾는 '탐정'**과 **행동을 분석하는 '분석가'**가 항상 붙어 다녔습니다.

• 문제점: 탐정이 실수하면 (예: 사람을 잘못 찾으면) 분석가도 엉뚱한 결론을 내립니다. 또한, 탐정이 특정 회사 (예: DETR) 에서만 훈련받았기 때문에, 다른 회사의 탐정 (예: YOLO) 을 데려오면 분석가는 당황해서 다시 훈련을 받아야 합니다.
• 한계: 새로운 행동 (예: '사람이 드론을 조종한다') 이 나오면, 분석가는 "이건 훈련 때 본 게 아니야!"라고 말하며 포기합니다.

2. 이 논문의 방식: "해리 포터의 마법 지팡이" (Decoupled Framework)

이 연구는 탐정과 분석가를 완전히 떼어놓았습니다. 그리고 분석가 자리에 **만능 번역기 (MLLM, 대규모 멀티모달 언어 모델)**를 앉혔습니다.

• 해리 포터의 비유:
  • 탐정 (Object Detector): 이미지 속 사람과 사물의 위치만 찾아냅니다. (이건 어떤 탐정이든 상관없습니다. YOLO 이든 DETR 이든 상관없어요!)
  • 만능 번역기 (MLLM): "사람이 컵을 들고 있어요"라는 문장을 보고, "아, 이건 '컵을 들고 있다'는 행동이구나!"라고 알아냅니다. 이 번역기는 수만 권의 책 (데이터) 을 읽어서 훈련받았기 때문에, 아직 본 적 없는 행동도 문맥을 통해 유추할 수 있습니다.

---

🛠️ 이 논문이 해결한 3 가지 핵심 문제 (마법의 도구들)

그런데 단순히 번역기를 붙인다고 해서 완벽할까요? 아니요. 저자들은 세 가지 마법 도구를 개발했습니다.

① "확실한 정답을 골라내는 방법" (Deterministic Generation)

• 문제: 번역기는 원래 "자유롭게 글을 써주는" 성격이 강해서, "아마 컵을 들고 있을지도 모르고, 아니면 마실지도 몰라..."라고 막연하게 대답하거나, 형식이 엉망이 될 수 있습니다.
• 해결: 저자들은 번역기에게 **"이 리스트에서 딱 맞는 것만 골라내라"**고 명령했습니다.
  • 비유: 시험지 지시사항처럼 "A, B, C 중 하나만 고르라"고 하면, 학생은 막연한 추측 대신 정확한 답을 고르게 됩니다. 이렇게 하면 컴퓨터가 행동을 판단할 때 '확신도 (점수)'를 정확하게 줄 수 있습니다.

② "눈에 보이지 않는 공간 감각" (Spatial-Aware Pooling)

• 문제: 탐정이 찾은 사각형 (Bounding Box) 이 정확하지 않을 때가 있습니다. (예: 컵의 절반만 포함하거나, 배경이 섞여 있을 때). 또한, 사람과 사물 사이의 거리와 방향이 중요한데, 기존 방식은 이를 무시했습니다.
  • 비유: "사람이 컵을 들고 있다"고 할 때, 컵이 손에 있는지, 바닥에 있는지, 멀리 있는지까지 봐야 정확한 행동입니다.
• 해결: 저자들은 공간 감각 모듈을 추가했습니다.
  • 비유: 단순히 "사람과 컵"만 보는 게 아니라, "사람과 컵 사이의 거리, 각도, 겹치는 정도"까지 계산해서 번역기에게 더 정확한 정보를 줍니다. 덕분에 탐정이 실수해도 (박스 위치가 조금 틀려도) 번역기는 "아, 저건 컵을 들고 있는 게 맞구나"라고 추측할 수 있습니다.

③ "한 번에 모든 정답을 찾는 속도전" (One-Pass Matching)

• 문제: 가능한 행동이 100 가지라면, 번역기가 하나하나 확인하려면 100 번을 돌아야 해서 느립니다.
• 해결: 한 번에 모두 비교하는 방법을 만들었습니다.
  • 비유: 100 개의 정답지를 하나씩 확인하는 대신, "이 질문과 정답지 100 개를 한 번에 비교해서 점수를 매겨라"라고 시켰습니다. 덕분에 속도가 훨씬 빨라졌습니다.

---

🏆 왜 이 연구가 중요한가요?

1. 새로운 것을 두려워하지 않음 (Zero-shot): 훈련 데이터에 없던 '사람이 드론을 조종한다' 같은 새로운 행동도, 번역기의 언어 능력 덕분에 알아맞힐 수 있습니다.
2. 누구나 쓸 수 있음 (Detector-Agnostic): 탐정 (객체 감지기) 을 바꾸어도 다시 훈련할 필요가 없습니다. 더 좋은 탐정이 나오면, 그 탐정만 갈아끼우면 바로 성능이 올라갑니다.
3. 빠르고 정확함: 기존 방식보다 훨씬 빠르면서도, 다른 방법들보다 훨씬 높은 정확도를 보여줍니다.

💡 한 줄 요약

"이 연구는 '사람 찾기'와 '행동 분석'을 분리하고, 똑똑한 AI 번역기를 고용하여, 아직 본 적 없는 새로운 행동도 빠르고 정확하게 알아맞히는 시스템을 만들었습니다."

이 기술이 발전하면, 로봇이 복잡한 주방에서 요리하는 사람을 돕거나, 자율주행차가 보행자의 행동을 정확히 예측하는 등 훨씬 더 똑똑한 AI 서비스를 만날 수 있게 될 것입니다.

기술 요약

이 논문은 제로샷 인간 - 객체 상호작용 (HOI) 감지를 위한 새로운 프레임워크를 제안하며, 객체 감지 (Object Detection) 와 상호작용 인식 (Interaction Recognition, IR) 을 완전히 분리하고 **멀티모달 대규모 언어 모델 (MLLM)**을 활용하는 데 중점을 둡니다. 이 논문은 ICLR 2026 컨퍼런스에서 발표될 예정입니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: HOI 감지는 이미지 내 인간과 객체의 위치를 찾고 그들 간의 상호작용 (동사) 을 인식하는 작업입니다. 이는 로봇 조작, 이미지 캡셔닝, 자율 주행 등 다양한 하위 작업에 필수적입니다.
• 도전 과제: 기존 방법들은 훈련 데이터에 없는 새로운 상호작용 (Zero-shot) 을 인식하는 데 어려움을 겪습니다. 특히, 상호작용의 조합이 매우 다양하여 (Combinatorial Diversity) 일반화가 어렵습니다.
• 기존 방법의 한계:
  • 긴밀한 결합 (Coupling): 대부분의 기존 2 단계 방법들은 객체 감지기 (Detector) 와 상호작용 인식을 긴밀하게 결합합니다. 이는 특정 감지기에 의존하게 만들어, 감지기를 변경하려면 모델을 다시 훈련해야 함을 의미합니다.
  • 특성 표현의 부족: 기존 CLIP 기반 방법들은 상호작용을 구분하기 위한 세밀한 (fine-grained) 표현 능력이 부족하며, 훈련 중 관찰된 카테고리에만 의존하여 미시적 상호작용에 대한 일반화 능력이 떨어집니다.

2. 제안 방법 (Methodology)

저자들은 **객체 감지와 상호작용 인식을 분리 (Decoupled)**하는 프레임워크를 제안합니다. 이 접근법은 어떤 객체 감지기와도 플러그 앤 플레이 (Plug-and-play) 방식으로 통합될 수 있습니다.

핵심 구성 요소:

1. MLLM 기반 제로샷 상호작용 인식 (Training-free IR):

   • 상호작용 인식을 시각적 질문 응답 (VQA) 작업으로 재구성합니다.
   • 감지된 인간 - 객체 쌍의 정보를 프롬프트로 입력하고, MLLM 에게 주어진 후보 상호작용 목록 중 정답을 선택하도록 유도합니다.
   • 결정적 생성 (Deterministic Generation): MLLM 의 개방형 텍스트 생성 대신, 후보 상호작용 목록 내의 각 항목에 대한 조건부 확률 (Conditional Likelihood) 을 계산하여 신뢰도 점수로 변환합니다. 이를 통해 포맷 오류를 방지하고 다중 레이블 분류를 가능하게 하여 훈련 없이도 제로샷 추론이 가능합니다.

2. 공간 인식 풀링 (Spatial-Aware Pooling, SAP):

   • 문제: 기존 ROIAlign 기반 풀링은 검출된 바운딩 박스 내부만 고려하여 검출 노이즈에 민감하고, 인간 - 객체 간의 공간적 관계를 무시합니다.
   • 해결: SAP 모듈은 외관 특징 (Appearance) 과 **쌍별 공간 정보 (Pairwise Spatial Cues)**를 통합합니다.
     • 바운딩 박스의 면적, 종횡비, IoU, 인간에서 객체로의 방향 등을 벡터로 인코딩합니다.
     • **크로스 어텐션 (Cross Attention)**을 통해 바운딩 박스 영역을 넘어선 이미지 특징을 집계하여 검출 노이즈에 대한 강건성을 높입니다.

3. 한 번의 통과 결정적 매칭 (One-Pass Deterministic Matching):

   • 문제: 후보 상호작용 목록이 길 경우, 각 항목에 대해 MLLM 을 여러 번 실행 (Forward Pass) 해야 하므로 계산 비용이 매우 높습니다.
   • 해결: 모든 후보 상호작용을 단일 프롬프트에 포함시키고, 각 후보 뒤에 특수 토큰 <|hoi|>를 추가합니다. MLLM 이 한 번의 통과로 모든 후보 토큰의 특징을 추출하면, 이를 상호작용 특징과 코사인 유사도로 비교하여 모든 후보에 대한 점수를 한 번에 예측합니다. 이는 추론 효율성을 극적으로 향상시킵니다.

4. 훈련 전략:

   • 1 단계: SAP 모듈만 훈련하여 인간 - 객체 쌍의 상호작용 유무 (Interactiveness) 를 분류합니다.
   • 2 단계: SAP 는 고정하고, MLLM 의 LoRA (Low-Rank Adaptation) 만 파인튜닝합니다.

3. 주요 기여 (Key Contributions)

• 분리된 프레임워크: HOI 감지에서 객체 감지와 상호작용 인식을 완전히 분리하여, 어떤 객체 감지기와도 재훈련 없이 통합할 수 있는 유연성을 제공합니다.
• MLLM 활용: CLIP 이 아닌 MLLM 을 상호작용 인식의 핵심으로 사용하여 강력한 교차 모달 일반화 능력을 확보했습니다.
• 효율적인 메커니즘: 결정적 생성, 공간 인식 풀링, 한 번의 통과 매칭을 통해 제로샷 성능과 추론 효율성을 동시에 달성했습니다.
• 훈련 없는 제로샷 성능: 추가 훈련 없이도 기존 최첨단 방법들을 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: HICO-DET 및 V-COCO 에서 평가되었습니다.
• 제로샷 성능: HICO-DET 의 모든 제로샷 설정 (Unseen Verb, Unseen Object, Unseen Combination 등) 에서 기존 방법 (ADA-CM, BC-HOI, LAIN 등) 보다 우수한 성능을 기록했습니다. 특히 Unseen Object (UO) 설정에서 BC-HOI 대비 약 28.73% 향상된 성능을 보였습니다.
• 교차 감지기 (Cross-Detector): ResNet50 DETR, Grounding-DINO, Yolo-World 등 다양한 감지기와 결합했을 때 재훈련 없이도 일관된 고성능을 유지하며, 감지기 성능 향상이 직접적으로 HOI 성능 향상으로 이어지는 것을 입증했습니다.
• 교차 데이터셋 (Cross-Dataset): HICO-DET 에서 훈련하여 V-COCO 에서 테스트하는 설정에서 CMMP 대비 12.26% 높은 mAP(59.91%) 를 기록하여 뛰어난 일반화 능력을 입증했습니다.
• 추론 속도: 한 번의 통과 매칭을 통해 기존 방법 대비 추론 시간을 획기적으로 단축했습니다 (예: Baseline 569ms → 제안 방법 91ms).

5. 의의 (Significance)

이 논문은 HOI 감지 분야에서 객체 감지와 상호작용 인식을 분리하는 새로운 패러다임을 제시했습니다. 기존 방법들이 특정 감지기와 VLM 특징에 종속되어 일반화 한계를 겪었던 문제를 해결하며, MLLM 의 강력한 언어 및 시각 이해 능력을 HOI 작업에 효과적으로 적용했습니다. 또한, 재훈련 없이 최신 객체 감지 기술을 즉시 활용할 수 있게 함으로써 실제 응용 분야에서의 확장성과 실용성을 크게 높였다는 점에서 의의가 큽니다.