💻 computer science

InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding

이 논문은 전역적 장면 이해에 머무르는 기존 비전 - 언어 사전 학습의 한계를 극복하기 위해, 텍스트 언급을 구체적인 시공간 영역에 연결하는 인스턴스 수준의 대비 학습을 도입한 'InstAP' 프레임워크와 대규모 이중 세분화 데이터셋 'InstVL'을 제안하여 인스턴스 추론 능력을 획기적으로 향상시켰음을 보여줍니다.

원저자: Ashutosh Kumar, Rajat Saini, Jingjing Pan, Mustafa Erdogan, Mingfang Zhang, Betty Le Dem, Norimasa Kobori, Quan Kong

게시일 2026-04-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ashutosh Kumar, Rajat Saini, Jingjing Pan, Mustafa Erdogan, Mingfang Zhang, Betty Le Dem, Norimasa Kobori, Quan Kong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎥 'InstAP': 비디오를 보는 눈이 '세상'에서 '개별 사물'로 바뀐 이야기

이 논문은 **"비디오를 볼 때, 단순히 '무슨 일이 일어나고 있는지'만 보는 게 아니라, '누가, 무엇을, 어떻게' 했는지까지 정확히 파악하는 인공지능"**을 개발한 이야기입니다.

기존의 인공지능은 마치 멀리서 풍경을 찍은 사진을 보는 것과 같았습니다. "사람이 공을 던지고 개가 뛰는구나"라고 전체적인 상황은 알 수 있지만, "저기 있는 빨간 공이 정확히 어디에 있고, 저 개가 언제 점프했는지"까지 정확히 짚어내기는 힘들었습니다.

이제 **InstAP(인스타프)**라는 새로운 기술이 등장했습니다. 이 기술은 비디오 속의 각각의 사물 (인스턴스) 에 주목해서 언어와 영상을 연결해 줍니다.

🍕 비유로 이해하는 InstAP 의 핵심

1. 기존 방식 vs InstAP: "피자 한 판"과 "각각의 토핑"

기존 AI (Global Only): 피자가 "치즈와 페퍼로니가 올라간 맛있는 피자"라고 전체적으로 설명합니다. 하지만 "페퍼로니 조각이 정확히 어디에 있는지"는 모릅니다.
InstAP (Instance-Aware): "오른쪽 구석에 있는 페퍼로니 한 조각은 매콤하고, 왼쪽에 있는 치즈 덩어리는 녹아내리고 있다"라고 각각의 토핑 (사물) 에 대해 구체적으로 설명합니다.

2. InstVL 데이터셋: "영화 대본"과 "배우별 대본"

이 연구를 위해 InstVL이라는 거대한 데이터셋을 만들었습니다.

기존 데이터: 영화 한 편에 대한 대본 하나만 있었습니다. ("소년이 공을 던진다.")
InstVL 데이터: 영화 한 편에 대해 두 가지 대본이 있습니다.
1. 전체 대본: "소년이 공을 던지고 개가 점프한다." (전체 장면 설명)
2. 배우별 대본: "소년 (ID: 1) 은 공 (ID: 2) 을 던지고, 개 (ID: 3) 는 점프한다." (각 사물이 움직이는 궤적과 설명)

이 데이터를 통해 AI 는 "소년"이라는 단어와 화면 속 특정 소년, "공"이라는 단어와 특정 공을 정확히 매칭하는 법을 배웁니다.

🛠️ 어떻게 작동할까요? (간단한 원리)

두 가지 눈을 동시에 뜨다:
InstAP 는 비디오를 볼 때 두 가지 눈을 사용합니다.
- 큰 눈 (Global): 전체 장면을 한눈에 파악합니다.
- 작은 눈 (Instance): 화면 속 특정 사물 (사람, 자동차, 공 등) 에 초점을 맞춥니다.
교차 학습 (Cross-Attention):
"소년이 공을 던진다"라는 문장을 읽을 때, AI 는 화면 속 소년과 공이 움직이는 궤적 (트랙) 을 찾아내어 문장과 정확히 연결합니다. 마치 자석처럼 텍스트와 영상 속 특정 부분을 강하게 끌어당기는 것입니다.
실수 방지 학습:
같은 비디오에 "소년"과 "개"가 둘 다 나오는데, AI 가 "소년"을 "개"와 혼동하지 않도록, 같은 비디오 안에서도 서로 다른 사물은 구별해야 한다는 규칙을 엄격하게 가르칩니다.

🏆 어떤 성과가 있을까요?

이 기술은 단순히 "사물을 찾는 것"만 잘하는 게 아닙니다.

정확한 찾기: "저기 있는 빨간 차"라고 검색하면, 화면 속 수많은 차 중에서 정확히 빨간 차만 찾아냅니다. (기존 모델은 그냥 차를 찾거나, 전체 장면을 보여줬습니다.)
전체 이해도 향상: 사물을 정확히 보는 법을 배우니, 오히려 전체 장면의 의미를 더 잘 이해하게 되었습니다. 마치 "나무 하나하나를 자세히 보면 숲의 생태계를 더 잘 이해하는 것"과 같습니다.
새로운 기록: 여러 가지 비디오 검색 테스트에서 기존 최고 성능 모델들을 크게 앞지르는 결과를 보여주었습니다.

💡 결론

이 논문은 **"인공지능이 이제 비디오 속의 '전체'뿐만 아니라, 그 안의 '하나하나'까지 정확히 이해하고 설명할 수 있게 되었다"**는 것을 보여줍니다.

앞으로 이 기술은 자율주행차가 보행자와 자전거를 정확히 구분하거나, 검색 엔진이 "저기서 뛰어오르는 강아지"라는 복잡한 질문에도 정확한 장면을 찾아주는 등, 더 정교하고 똑똑한 AI 서비스의 기반이 될 것입니다.

1. 문제 정의 (Problem Statement)

기존의 비전 - 언어 사전 학습 (VLP, Vision-Language Pre-training) 패러다임은 전역적인 장면 이해 (Global Scene Understanding) 에는 탁월한 성과를 보이지만, 인스턴스 수준의 추론 (Instance-level Reasoning) 에는 한계가 있습니다.

전역적 감독의 한계: 대부분의 기존 모델은 전체 비디오 클립과 캡션 간의 전역적 정렬 (Global Alignment) 만을 학습합니다. 이로 인해 텍스트에 언급된 특정 객체 (예: "공", "개") 가 비디오의 어느 시공간 영역에 해당하는지 정확히 파악하는 데 실패합니다.
세부 정보의 부재: 대규모 비디오 - 텍스트 데이터셋은 대부분 고수준의 장면 설명만 제공하며, 객체별 공간 - 시간적 (Spatial-Temporal) 정박 (Grounding) 정보가 부족합니다.
기존 접근법의 결함: 최근 연구들은 사후적으로 객체 탐지기 (Object Detector) 를 결합하거나 보조 헤드를 추가하는 방식을 취했으나, 이는 탐지기 오류를 상속받거나 핵심 표현 학습에 통합되지 않아 진정한 인스턴스 수준의 정렬을 달성하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 InstAP (Instance-Aware Pre-training) 프레임워크와 이를 지원하기 위한 대규모 데이터셋 InstVL을 제안합니다.

2.1. InstVL 데이터셋

규모: 200 만 장의 이미지와 50,000 개의 비디오로 구성.
이중 세분성 (Dual-Granularity) 주석:
1. 전역 캡션 (Global Captions): 전체 장면을 설명하는 통합적인 문장.
2. 인스턴스 캡션 (Trajectory Instance Captions): 특정 객체 (이미지의 2D 박스 또는 비디오의 시공간 궤적) 에 정박된 밀도 높은 설명.
생성 파이프라인: GroundingDINO(탐지) 와 SAM2(추적) 를 사용하여 객체 궤적을 추출하고, 이를 대용량 비전 - 언어 모델 (LVM) 에 입력하여 자연스러운 문장 형태의 인스턴스 설명을 생성했습니다.

2.2. InstAP 아키텍처 및 학습 전략

InstAP 는 전역적 이해와 인스턴스 수준의 정밀한 이해를 동시에 학습하는 Global-Local Cross Attention 메커니즘을 사용합니다.

자기지도형 마스킹 비디오 모델링 (Self-Supervised Masked Video Modeling):
- 冻结된 CLIP-ViT 를 '교사 (Teacher)'로 활용하여, 학생 모델이 가시 토큰 (Visible Tokens) 만을 입력으로 받아 마스킹된 토큰의 고수준 특징을 회귀하도록 학습합니다. 이는 픽셀 재구정보다 효율적이며 시공간 표현력을 강화합니다.
인스턴스 인식 정렬 손실 (Instance-Aware Alignment Losses):
- Global-Local Cross Attention: 전체 장면 특징 (Global Context) 을 Key/Value 로, 특정 객체 영역 (Crop/Trajectory) 을 Query 로 사용하여 전역 맥락을 인스턴스 특징에 주입합니다.
- 인스턴스 대비 학습 (Instance Contrastive Learning): 동일한 비디오 내의 다른 객체 설명을 '음성 샘플 (Negative)'로 처리하되, 동일 비디오 내의 비일치 객체 (False Negatives) 를 마스킹하여 인스턴스 간 혼란을 방지하고 세밀한 구분을 강제합니다.
- 손실 함수 구성: 전역 정렬 (VTC, VTM, MLM) 과 인스턴스 정렬 (Inst-VTC, Inst-VTM, Inst-MLM) 손실을 결합하여 총 손실 함수를 구성합니다.

3. 주요 기여 (Key Contributions)

InstVL 데이터셋 및 InstAP 프레임워크 도입: 전역 및 인스턴스 수준의 이중 주석을 가진 대규모 데이터셋과 이를 활용하는 새로운 학습 프레임워크를 제시했습니다.
데이터 확장 이상의 성능 향상: 동일한 데이터셋 (InstVL) 으로 학습된 강력한 베이스라인 (UMT-L) 과 비교했을 때, InstAP 가 압도적으로 우수한 성능을 보였습니다. 이는 성능 향상이 단순히 데이터 양의 증가가 아니라 인스턴스 인식 정렬 메커니즘에서 기인함을 입증했습니다.
전역 이해의 향상: 인스턴스 중심의 세밀한 학습이 오히려 전역적인 장면 이해 능력을 향상시킴을 증명했습니다. 제로샷 (Zero-shot) 벤치마크에서 기존 모델들을 능가하는 결과를 보였습니다.
정확한 시공간 정박 (Grounding): 텍스트 언급을 특정 객체의 시공간 영역에 정확하게 매핑하는 능력을 보여주며, 기존 전역 모델들이 보이는 확산된 (Diffuse) 주의 집중 문제를 해결했습니다.

4. 실험 결과 (Results)

인스턴스 검색 (Instance Retrieval): InstVL 벤치마크에서 InstAP 는 기존 최첨단 모델 (VideoPrism, CLIP4Clip 등) 과 베이스라인 (UMT-L) 을 모두 압도했습니다. 특히 InstVL-1K (Video) 인스턴스 검색에서 T2V R@1 60.63을 기록하여 이전 기록을 크게 경신했습니다.
전역 검색 및 제로샷 성능: MSR-VTT, DiDeMo, MSVD 등 표준 비디오 검색 벤치마크에서도 SOTA 성능을 달성했습니다. (예: MSR-VTT R@1 41.1, DiDeMo R@1 54.0). 이는 인스턴스 학습이 전역 표현의 강건성을 높인다는 것을 의미합니다.
시각 정박 (Visual Grounding): InstVL-1K 테스트에서 객체 위치 예측 (IoU) 성능이 베이스라인 대비 크게 향상되었습니다. 특히 비디오 분할에서 IoU@90 이 14.44 에서 25.13으로 크게 개선되었습니다.
애블레이션 연구: 인스턴스 손실 함수 ( $L_{inst}$ ) 를 추가하는 것이 미세한 이해에 결정적임을 확인했으며, 학습 온도 (Temperature) 조정, 손실 가중치, 캡션 샘플링 전략, 그리고 시공간 궤적 데이터의 사용이 성능 향상에 기여함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비전 - 언어 모델이 단순한 장면 분류를 넘어 세부적인 객체와 그 움직임 (시공간 궤적) 을 언어와 정밀하게 연결할 수 있는 새로운 패러다임을 제시했습니다.

핵심 통찰: 인스턴스 수준의 이해는 별도의 보조 작업이 아닌, 표현 학습의 핵심 속성 (Core Property) 으로 통합되어야 함을 증명했습니다.
실용적 가치: 정밀한 객체 기반 검색, 공간 - 시간적 정박, 객체 중심 질문 응답 (Object-centric QA) 등 하류 작업 (Downstream Tasks) 에 필수적인 기술적 기반을 마련했습니다.
미래 방향: 복잡한 시각적 장면에서 전역적 맥락과 국소적 세부 사항을 동시에 이해하는 강건한 다중 모달 모델 개발의 중요한 이정표가 되었습니다.

요약하자면, InstAP는 대규모 데이터와 새로운 학습 목표를 통해 비디오 이해의 '블라인드'를 제거하고, 텍스트가 언급하는 구체적인 사물이 비디오의 어느 순간에 존재하는지 정확히 파악할 수 있는 능력을 부여한 획기적인 연구입니다.