🤖 machine learning

VideoNet: A Large-Scale Dataset for Domain-Specific Action Recognition

시각-언어 모델의 동작 인식 평가 저하를 해결하기 위해 본 논문은 1,000 개의 도메인 특화 동작을 포괄하는 대규모 벤치마크인 VideoNet 과 이에 상응하는 50 만 개의 비디오 QA 학습 데이터셋을 소개하며, 이 데이터로 미세 조정하면 더 작은 모델이 복잡한 도메인 특화 동작을 인식하는 데 있어 더 큰 오픈 가중치 모델들을 능가할 수 있음을 보여줍니다.

원저자: Tanush Yadav, Mohammadreza Salehi, Jae Sung Park, Vivek Ramanujan, Hannaneh Hajishirzi, Yejin Choi, Ali Farhadi, Rohun Tripathi, Ranjay Krishna

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tanush Yadav, Mohammadreza Salehi, Jae Sung Park, Vivek Ramanujan, Hannaneh Hajishirzi, Yejin Choi, Ali Farhadi, Rohun Tripathi, Ranjay Krishna

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 책을 읽고, 시를 쓰며, 거의 모든 것에 대해 대화할 수 있는 초지능 로봇이 있다고요. 아마 이렇게 생각하실 거예요. "좋아! 이 로봇은 아마도 동영상을 보고 정확히 무슨 일이 일어나고 있는지 알려줄 수 있겠지?"

하지만 논문 VideoNet은 이렇게 말합니다: "조금만 기다려 보세요."

이러한 로봇들 (비전 - 언어 모델이라고 불림) 은 일반적인 작업에서는 놀라울 정도로 뛰어나지만, 전문 지식이 필요한 구체적인 실제 행동을 인식하는 데는 놀랍도록 서툴다는 것입니다. 이를 증명하고 해결하기 위해 연구자들은 VideoNet이라는 새로운 로봇용 '체육관'을 구축했습니다.

그들이 무엇을 했는지 간단히 설명해 드리겠습니다.

1. 문제: 로봇은 만능이 아니라 전문가가 아니다

현재의 AI 모델을 매우 잘 읽은 고등학생이라고 생각해 보세요. 그들은 모든 것에 대해 조금씩 알고 있습니다. 누군가 농구를 하는 동영상을 보여주면, "저건 농구야"라고 말할 수 있습니다.

하지만 '토마호크 덩크'와 '알리 - 오프 덩크'를 구별해 달라고 하거나, 피겨스케이팅에서 '트리플 악셀'과 '트리플 루츠'의 차이를 말해 달라고 하면 혼란에 빠집니다. 추측은 할지라도 종종 틀립니다.

연구자들은 이러한 까다롭고 구체적인 동작들을 보여주는 방대하고 다양한 동영상 컬렉션이 없었기 때문에 로봇들이 실제로 이러한 동작들을 연습해 본 적이 없다고 발견했습니다. 마치 기본 오믈렛 만드는 법은 알지만 수플레를 본 적이 없는 요리사 같은 것입니다.

2. 해결책: 'VideoNet' 구축 (최고의 퀴즈)

로봇들을 테스트하기 위해 팀은 VideoNet을 만들었습니다.

규모: **37 개의 서로 다른 세계 (도메인)**에 걸친 1,000 가지 다른 동작을 포함한 거대한 도서관입니다.
세계들: 익숙한 것들 (요리, 스포츠, 춤) 에서부터 매우 구체적인 것들 (펜스피닝, 신경학적 검사, 크로셰, 심지어 봉합술) 까지 다양합니다.
난이도: 그들은 단순히 무작위 동영상을 가져온 것이 아닙니다. '하드 네거티브 (Hard Negatives)'를 만들었습니다.
- 비유: "이게 뭐죠?"라는 질문과 함께 "골든 리트리버"와 "작은 모자를 쓴 골든 리트리버"라는 선택지가 있는 퀴즈를 상상해 보세요. 어렵죠? VideoNet은 바로 그런 것입니다. 훈련되지 않은 눈에는 거의 동일해 보이는 동작들을 찾아내어 AI 가 미세한 디테일에 집중하도록 강요했습니다.

3. 테스트: 로봇 대 인간

연구자들은 VideoNet 을 사용하여 최고의 AI 로봇들 (Gemini 와 GPT 등) 을 테스트에 투입했습니다.

결과: 로봇들은 고전했습니다. 가장 똑똑한 로봇들조차 객관식 테스트에서 약 **70%**만 맞췄습니다. 그 정도면 괜찮아 보일 수 있지만, 초지능 로봇에게는 낙제점입니다.
'퓨 - 샷 (Few-Shot)' 테스트: 그들은 로봇들에게 먼저 몇 가지 예시를 보여줌으로써 (실제 시험 전에 연습 문제를 보여주는 것처럼) 로봇들을 돕는 시도를 했습니다.
- 반전: 인간은 예시를 보여줬을 때 훨씬 더 잘해냈습니다. 하지만 로봇들은? 거의 개선되지 않았고, 어떤 경우에는 오히려 더 나빠지기도 했습니다. 마치 로봇들이 예시들로부터 배우는 대신 혼란을 느낀 것처럼 보였습니다. 그들은 인간처럼 '점들을 연결'할 수 없었습니다.

4. 해결: 로봇을 처음부터 가르치기

연구자들은 로봇들이 '바보'라서 실패한 것이 아니라, 이러한 구체적인 영역에서 훈련받지 않았기 때문에 실패했다고 깨달았습니다.

훈련 데이터: 그들은 거의 50 만 개의 동영상 클립으로 구성된 거대한 훈련 데이터셋을 구축했습니다. 그들은 천 명 이상의 전문가를 고용하여 모든 동영상을 라벨링하는 것 (너무 비쌉니다) 대신, 제목이나 구두어 (대본) 에서 동작이 언급된 동영상을 AI 가 찾아내는 영리한 방법을 사용했습니다.
결과: 그들은 작은 로봇 (40 억 파라미터 모델) 을 가져와 이 새로운 데이터로 가르쳤습니다.
- 마법: 이 훈련 후, 이 작은 로봇은 더 크지만 훈련받지 않은 로봇들(80 억 파라미터 모델) 보다 이러한 구체적인 동작을 인식하는 데 더 뛰어나게 되었습니다. 마치 특정 공예를 수년 동안 연습한 헌신적인 견습생이 도구를 만져 본 적이 없는 만능 천재보다 더 잘하는 것과 같습니다.

5. 핵심 교훈

이 논문은 AI 가 현실 세계를 진정으로 이해하게 하려면, 질문을 할 때 그들이 "스스로 알아내게" 하는 것만으로는 부족하다고 결론지었습니다. 우리는 이러한 특정 작업에 대해 구체적이고 고품질의 훈련 데이터를 제공해야 합니다.

현재 상태: AI 는 유명한 랜드마크는 인식할 수 있지만, 새는 수도꼭지를 고치거나 특정 춤 동작을 수행하는 법을 모르는 관광객과 같습니다.
VideoNet 의 기여: 그것은 그 관광객을 숙련된 현지 전문가로 바꾸기 위한 지도와 연습 drill 을 제공합니다.

간단히 말해: 이 논문은 AI 가 구체적인 실제 기술에 서툴다는 것을 보여주기 위해 거대하고 어려운 테스트를 구축한 후, 그 구체적인 기술에서 더 큰 AI 들보다 작은 AI 가 이길 수 있도록 가르치는 훈련 매뉴얼을 만들었습니다.

기술 요약: VideoNet

문제 제기

행동 인식은 오랫동안 컴퓨터 비전의 핵심 기둥이었으나, 현대의 비전 - 언어 모델 (VLM) 은 다양하고 도전적이며 도메인 특화 데이터의 부족으로 인해 이 작업에 대한 평가가 크게 중단되었습니다. 기존 벤치마크는 종종 "등반"과 같은 거시적 레이블이나 실제 적용 가능성이 부족한 "물체 회전 방향"과 같은 미세한 시간적 속성에 초점을 맞추고 있습니다. 그 결과, VLM 은 피겨스케이팅의 "트리플 플립 점프"나 신경학의 "보행 이상 (steppage gait)"과 같은 도메인 특화 행동을 인식하는 능력, 즉 미묘하고 전문가 수준의 변이를 구분하기 위해 지각뿐만 아니라 구성적 추론이 필요한 능력을 평가받지 못하고 있습니다. 이러한 데이터의 부재는 연구자들이 VLM 의 실제 세계 전문가 수준 작업으로의 일반화 가능성을 평가하는 것을 방해합니다.

방법론

벤치마크 구축 (VideoNet)

저자들은 스포츠, 의료, 공예, 춤 등 37 개 도메인에 걸쳐 7 개 카테고리로 조직된 1,000 개의 고유한 행동을 다루는 벤치마크인 VideoNet을 소개합니다. 구축 과정은 다음과 같습니다:

분류 체계 생성: 행동과 시각적 차별 요소를 정의하기 위해 전문가가 작성한 자료와 웹 검색을 보완한 LLM 을 활용한 상향식 접근 방식.
데이터 수집 파이프라인: 3 단계 인간 주석 과정:
- 수집: 주석가들이 각 행동별로 서로 다른 웹 소스에서 7 개의 클립을 찾음.
- 검증: 주석가들이 클립에 해당 행동이 포함되어 있고 잘 자려졌는지 확인. 비전문가들이 클립을 "포함" 또는 "미포함"으로 분류하여 복잡성을 줄임.
- 자르기: 행동 정의에 대해 훈련된 주석가들이 poorly 자른 클립을 정제함.
레이블 검증: 620 개의 클립에 대한 하위 집합의 전문가 검증을 통해 97.6% 의 정확도를 확인하여 파이프라인의 견고성을 입증함.
하드 네거티브 생성: 모델이 장면 수준의 단서에 의존하는 것을 방지하기 위해, LLM 과 추론 모델을 사용하여 공존하거나 모호한 행동을 필터링하고 대상과 시각적으로 유사하지만 기술이나 운동 측면에서 구별되는 "하드 네거티브"(목표와 시각적으로 유사하지만 기술이나 운동 측면에서 구별되는 행동) 를 생성함.
평가 설정:
- 다중 선택: 클립당 4 가지 옵션 (1 개의 정답, 3 개의 하드 네거티브).
- 이진 퓨샷 (Few-Shot): $k \in \{0, 1, 2, 3\}$ 개의 컨텍스트 비디오 예제가 포함된 이진 "예/아니오" 질문.

훈련 데이터셋

인간 주석이 훈련 규모 데이터에는 너무 비싸다는 점을 인식한 저자들은 약 50 만 개의 비디오 질문 - 답변 (VQA) 쌍 (고품질 클립으로 필터링되어 약 16 만 개) 을 수집하기 위한 완전 자동화 파이프라인을 개발했습니다.

소스: 37 개 도메인에 대한 웹 크롤링 비디오.
로컬라이제이션: Gemini 2.5 Flash 를 사용하여 행동 타임스탬프를 로컬라이제이션.
레이블링 전략: 세 가지 필터링 전략을 테스트함:
1. TranscriptLocalized: 클립 근처의 대본에 행동 이름이 나타남.
2. TranscriptLocalizedTitleMatch: 대본과 제목 모두에 행동 이름이 포함됨.
3. SingleAction: 제목에 행동이 언급되고 로컬라이저가 클립 하나만 찾으면, 해당 클립을 행동으로 레이블링함.
파인튜닝: Molmo2-4B 모델을 이러한 데이터셋으로 파인튜닝함.

주요 결과

VideoNet 상의 VLM 성능

다중 선택: 기존 오픈 가중치 8B 모델은 어려움을 겪으며 Qwen3-VL-8B 는 **45.0%**의 정확도만 달성하는 반면, 최고의 프로프라이어터리 모델 (Gemini 3.1 Pro) 은 **69.9%**에 도달함. 무작위 확률은 약 25% 임.
이진 제로샷: 완화된 이진 설정 (무작위 확률 50%) 에서 오픈 모델은 59.2% (Qwen3-VL-8B) 에 도달하는 반면, 프로프라이어터리 모델은 72% 부근에서 정체됨.
퓨샷 학습: VLM 은 시각적 컨텍스트 예제에서 학습하는 능력이 제한적임.
- 비전문가 인간은 3 샷 예제로 +13.6% 향상됨.
- VLM 은 평균 **2.9%**만 향상되었으며, 일부 모델 (예: Gemini 3.1 Pro) 은 실제로 성능이 저하됨.
- 이는 VLM 이 인간에 비해 시각적 퓨샷 학습을 위한 지각 메커니즘이 부족함을 시사함.

훈련 데이터의 영향

SingleAction 데이터셋 (가장 작지만 품질이 가장 높은 하위 집합) 으로 Molmo2-4B 모델을 파인튜닝한 결과, 다중 선택 설정에서 11.5% 포인트의 향상을 보이며 **53.5%**의 정확도에 도달함.
결정적으로, 이 4B 파인튜닝 모델은 기존 모든 오픈 가중치 8B 모델을 능가하고 프로프라이어터리 8B+ 모델의 성능에 근접하여, 이 작업에서는 모델 규모보다 도메인 특화 훈련 데이터가 더 중요함을 입증함.
파인튜닝된 4B 모델은 이진 0 샷 설정에서도 **66.6%**를 달성하여 Qwen3-VL-8B 의 3 샷 성능 (66.2%) 을 상회함.

중요성과 주장

이 논문은 VideoNet이 도메인 특화, 미세한 행동에 초점을 맞춤으로써 VLM 시대에 행동 인식을 관련 평가 작업으로 부활시켰다고 주장합니다. 저자들은 다음과 같이 논합니다:

현재 VLM 은 도메인 특화 행동 인식에 결함이 있어, 완화된 이진 설정에서도 어려움을 겪고 시각적 퓨샷 예제를 효과적으로 활용하지 못함.
데이터 품질과 도메인 특화가 가장 중요하며, 작고 고품질의 훈련 데이터셋 (SingleAction) 이 4B 모델이 더 큰 8B 모델을 능가하게 하여 규모만으로는 이러한 작업을 해결한다는 관념에 도전함.
인간과 모델 간의 격차: 인간과 모델의 퓨샷 성능 간의 큰 격차는 현재 VLM 이 시연에서 시각적 패턴을 학습하는 능력의 근본적인 한계를 강조함.
미래 연구: 이 데이터셋은 지각, 시각적 추론, 실제 세계 행동 이해를 개선하기 위한 테스트베드로서, 의료 진단이나 스포츠 코칭과 같은 전문가 지원 분야에서 잠재적인 응용을 열어줌.

저자들은 그들의 작업이 거시적 또는 합성 시간적 추론 작업을 넘어 진정한 전문가 수준의 비디오 이해로 나아가기 위해 필요한 인프라 (벤치마크 및 훈련 데이터) 를 제공한다고 강조합니다.