상상해 보세요. 거대한 파티 사진 한 장이 있습니다. 사진에는 수백 명의 사람과 수백 개의 사물이 뒤섞여 있습니다. 우리는 이 사진에서 **"누가 무엇을 하고 있는지"**를 찾아내야 합니다.
1. 기존 방식의 문제점: "모든 조합을 다 시도해 보는 미친 파티장"
기존의 인공지능 (Weakly-Supervised HOI) 은 이 문제를 풀 때 다음과 같이 행동했습니다.
방법: 사진 속 모든 사람과 모든 사물을 뽑아내서, "A 사람과 B 컵이 서로 만났을까? A 사람과 C 의자가 만났을까?" 식으로 모든 가능한 조합을 하나하나 만들어서 확인했습니다.
문제점:
시간 낭비: 조합의 수가 너무 많아서 컴퓨터가 미쳐버릴 정도로 느립니다. (사진 1 장을 분석하는 데 몇 분씩 걸림)
오류: "사람이 컵을 들고 있다"고 착각하는 경우가 많습니다. 실제로는 컵이 사람 옆에 있을 뿐인데, AI 가 "아, 둘이 가까이 있으니까 컵을 들고 있겠지!"라고 잘못 추측하는 것입니다.
2. RegFormer 의 혁신: "눈썰미 좋은 파티 감시관"
RegFormer 는 이 문제를 완전히 다른 방식으로 해결합니다.
① "장소"를 먼저 파악한다 (Spatial Grounding)
비유: RegFormer 는 모든 조합을 무작위로 시도하는 대신, **"사람이 있을 만한 곳"**과 **"사물이 있을 만한 곳"**을 먼저 눈으로 쫓습니다.
원리: 인공지능이 "사람"이라는 단어를 들으면, 사진 속 사람 모양이 있는 부분만 집중해서 봅니다. "의자"라는 단어를 들으면 의자 모양만 봅니다. 이렇게 위치 정보를 기반으로 조합을 만들기 때문에, 엉뚱한 곳 (예: 사람과 멀리 떨어진 컵) 을 조합할 필요가 없습니다.
② "상호작용 가능성" 점수를 매긴다 (Interactiveness Scoring)
비유: 두 사람이 가까이 있다고 해서 무조건 대화하는 건 아닙니다. RegFormer 는 **"이 두 개체가 실제로 서로 영향을 주고받고 있을까?"**라는 점수를 매깁니다.
원리: 만약 사람이 컵을 들고 있다면 점수가 높게 나오고, 사람이 컵을 들고 있지 않다면 점수가 낮아져서 AI 가 그 조합을 무시하게 됩니다. 이를 통해 엉뚱한 추측 (False Positive) 을 줄입니다.
③ 한 번에 끝낸다 (Efficiency)
비유: 기존 방식이 조합을 하나씩 확인하느라 지쳐서 죽어가는 동안, RegFormer 는 한 번의 스캔으로 모든 것을 파악합니다.
원리: 기존 방식은 조합이 100 개면 100 번을 계산해야 하지만, RegFormer 는 1 번만 계산해도 됩니다. 속도가 128 배나 빨라졌습니다.
🚀 왜 이 기술이 특별한가요?
1. "학습"과 "실전"이 똑같습니다 (Transferability)
보통 AI 는 "사진 전체에 사람과 사물이 있는지"만 배우고 (이미지 레벨), 실제 시험에서는 "누가 누구를 잡고 있는지" (인스턴스 레벨) 를 찾아내려고 하면 다시 공부를 해야 합니다.
하지만 RegFormer 는 학습할 때부터 위치 감각을 익혀서, 실전에서도 추가 학습 없이 바로 정확한 위치를 찾아냅니다. 마치 수영을 배울 때 물속에서 자세를 익혀서, 실제 바다에 나가도 바로 헤엄칠 수 있는 것과 같습니다.
2. 완전한 감독 없이도 천재가 됩니다
보통 이런 기술을 가르치려면 "이 사람은 컵을 들고 있고, 저 사람은 말에 타고 있다"라고 하나하나 손으로 표시해 주는 (완전 감독) 작업이 필요합니다. 이는 비용이 너무 비쌉니다.
RegFormer 는 "사진에 '말을 탄 사람'이 있다"는 문장 하나만 알려주면 됩니다. (약한 감독). 그럼에도 불구하고 완전한 감독을 받은 AI 와 거의 비슷한 성능을 냅니다.
📝 한 줄 요약
RegFormer는 사진 속 수많은 사람과 사물 중 **"누가 누구와 진짜로 상호작용하는지"**를, 모든 경우의 수를 다 확인하지 않고도, 위치 감각과 상호작용 점수를 이용해 순간적으로 정확하게 찾아내는 똑똑한 AI 입니다.
이 기술 덕분에 우리는 앞으로 더 많은 사진과 영상을 자동으로 분석할 수 있게 되며, 로봇이 우리 주변 환경을 더 잘 이해하는 데 큰 도움이 될 것입니다.
1. 문제 정의 (Problem)
약지도 인간 - 객체 상호작용 (HOI) 탐지는 이미지 수준의 라벨 (이미지 내에 존재하는 상호작용 클래스) 만을 사용하여 인간과 객체의 상호작용을 학습하는 과제입니다. 이는 완전지도 학습에 필요한 상세한 바운딩 박스 및 상호작용 라벨링의 막대한 비용을 줄일 수 있어 확장 가능한 장면 이해에 필수적입니다.
하지만 기존 약지도 HOI 방법론들은 다음과 같은 한계를 가집니다:
계산 비용의 과다: 오프 - 더 - 설프 (off-the-shelf) 객체 탐지기를 사용하여 생성된 수많은 인간 - 객체 쌍 (candidate pairs) 을 모두 열거하고, 각 쌍의 합집합 영역 (union region) 을 잘라내어 모델에 입력하는 방식은 계산량이 매우 큽니다.
거짓 양성 (False Positives): 상호작용이 없는 무관한 인간 - 객체 조합까지도 탐지하여 분류 오류를 유발합니다.
일반화 문제: 합집합 영역에는 관련 없는 배경이나 다른 객체가 포함될 수 있어 특정 쌍의 상호작용 분류를 방해합니다.
탐지기 의존성: 탐지기 (detector) 를 변경할 때마다 분류기를 재학습해야 하는 등 유연성이 부족합니다.
2. 제안 방법론: RegFormer
저자들은 **RegFormer (Relational Grounding Transformer)**를 제안하여 이미지 수준 추론과 인스턴스 수준 추론을 단일 프레임워크로 통합하고, 효율성과 정확성을 동시에 달성합니다.
핵심 구성 요소
순차적 추론 프레임워크 (Sequential Reasoning):
기존 ML-Decoder 와 같은 병렬 방식 대신, 먼저 인간 - 객체 (HO) 쌍에 대한 쿼리를 생성한 후, 해당 쌍에 대한 상호작용 (I) 을 예측하는 HO → I 순차적 구조를 채택합니다. 이는 계산 효율성을 크게 향상시킵니다.
공간적 기반 쿼리 생성 (Spatially Grounded Query):
텍스트 기반 임베딩만으로는 공간 정보가 부족합니다. RegFormer 는 Pairwise Instance Encoder를 통해 이미지 특징 맵 (feature map) 에서 인간과 객체 클래스에 해당하는 패치 (patch) 의 유사도를 계산합니다.
이를 통해 인간과 객체가 실제로 존재할 가능성이 높은 영역의 시각적 특징을 집계 (aggregate) 하여 공간적으로 기반을 둔 (spatially grounded) HO 쿼리를 생성합니다. 이는 이미지 수준 추론을 인스턴스 수준으로 자연스럽게 전이 (transfer) 할 수 있게 합니다.
상호작용성 인식 학습 (Interactiveness-aware Learning):
약지도 설정에서는 실제 이미지에 존재하지 않는 쌍도 학습 대상이 되어 불필요한 특징 학습이 발생할 수 있습니다. 이를 해결하기 위해 **상호작용성 점수 (Interactiveness Score)**를 도입합니다.
지역적 상호작용성 (Local): 특정 인간 - 객체 쌍의 영역 내에서 상호작용이 일어날 확률을 계산합니다.
마스크된 전역 상호작용성 (Masked Global): 이미지 전체의 중요도 분포를 해당 인스턴스 영역에 적용하여, 비상호작용 영역의 점수를 억제하고 상호작용 영역을 강조합니다.
이 점수는 분류 점수에 게이트 (gating) 신호로 작용하여 관련 없는 객체 반응을 억제합니다.
추가 학습 없는 전이 (Zero-shot Transfer to Detection):
학습 시에는 이미지 수준 라벨만 사용하지만, 추론 시에는 객체 탐지기에서 제공된 바운딩 박스 정보를 이용해 Region-aware Mask를 적용합니다.
이를 통해 쿼리 생성과 상호작용성 점수 계산을 특정 인스턴스 영역으로 제한함으로써, 추가적인 학습 없이도 이미지 수준 분류기를 인스턴스 수준 탐지기로 즉시 전환할 수 있습니다.
3. 주요 기여 (Key Contributions)
RegFormer 제안: 이미지 수준과 인스턴스 수준의 HOI 추론을 통합한 경량화되고 다목적인 분류 모듈을 제안했습니다.
공간적 기반 쿼리 및 상호작용성 학습: 공간적으로 기반을 둔 쿼리 생성과 상호작용성 인식 학습을 통합하여 국소화된 상호작용 단서를 효과적으로 포착하도록 모델 능력을 향상시켰습니다.
효율적인 전이 가능성: 추가 학습 없이 이미지 수준 분류에서 인스턴스 수준 탐지로 원활하게 전이 가능하며, 이전 약지도 방법론을 능가하고 완전지도 모델과 경쟁 가능한 성능을 달성했습니다.
4. 실험 결과 (Results)
논문은 HICO-DET와 V-COCO 데이터셋을 통해 RegFormer 의 성능을 검증했습니다.
성능 향상:
HICO-DET: 완전지도 학습을 사용하지 않았음에도 불구하고, 기존 약지도 방법론 (Weakly HOI-CLIP 등) 보다 Full mAP 에서 약 2.19%p 이상 우위를 보였으며, 강력한 백본 (DINO-B) 과 결합 시 완전지도 모델 (HOTR, QPIC 등) 과 유사하거나 더 나은 성능을 기록했습니다.
희귀 클래스 (Rare Classes): 일반화 능력이 뛰어나 희귀한 상호작용 클래스에서도 우수한 성능을 보였습니다.
V-COCO: V-COCO 데이터셋에서도 SOTA(최고 성능) 를 기록했습니다 (Faster R-CNN 기준 56.5 AProle2, DETR 기준 57.5 AProle2).
효율성:
인스턴스 쌍의 수가 증가해도 추론 시간이 거의 증가하지 않아 (기존 ML-Decoder 대비 약 128 배 빠름), 밀집된 장면에서도 효율적으로 작동합니다.
Zero-shot 성능:
보지 못한 상호작용 조합 (Unseen Compositions) 에 대한 제로샷 탐지 성능에서도 기존 약지도 방법론보다 월등히 높은 성능을 보이며, 완전지도 모델들과도 경쟁 가능한 수준을 달성했습니다.
5. 의의 및 결론 (Significance)
RegFormer 는 약지도 HOI 탐지 분야에서 다음과 같은 중요한 의의를 가집니다:
효율성과 정확성의 균형: 수많은 후보 쌍을 열거하는 비효율적인 방식을 탈피하여, 단일 백본 포워드 (forward pass) 만으로 정확한 인스턴스 수준 추론을 가능하게 했습니다.
탐지기 독립성 (Detector Agnostic): 학습 과정에서 탐지기 제안 (proposals) 을 사용하지 않으므로 탐지기의 편향이나 오류 전파를 줄일 수 있으며, 다양한 탐지기에 쉽게 적용 가능합니다.
실용성: 고비용의 상세 라벨링 없이도 완전지도 모델에 버금가는 성능을 달성함으로써, 대규모 HOI 데이터 구축 및 실제 응용에 대한 장벽을 낮추었습니다.
결론적으로, RegFormer 는 **공간적 단서 (spatial cues)**와 **상호작용성 신호 (interactiveness signals)**를 효과적으로 결합하여, 약한 감독 하에서도 강력하고 효율적인 인간 - 객체 상호작용 이해를 가능하게 하는 새로운 패러다임을 제시합니다.