💻 computer science

From Frames to Temporal Graphs: In-Context Egocentric Action Recognition with Vision-Language Models

본 논문은 비디오를 시계열 행동 그래프(Temporal Action Graphs)로 변환함으로써 시각적 인식을 기호적 추론으로부터 분리하는 새로운 1인칭 시점 행동 인식 프레임처를 제안하며, 구조화된 그래프 표현에 대한 인컨텍스트 학습(in-context learning)을 통해 시각-언어 모델을 기호적 추론기로 활용하는 것이 다양한 모델 계열 전반에서 직접적인 픽셀 기반 추론보다 현저히 우수한 성능을 보임을 입증한다.

원저자: Bessie Dominguez-Dager, Francisco Gomez-Donoso, Miguel Cazorla, Marc Pollefeys, Daniel Barath, Zuria Bauer

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bessie Dominguez-Dager, Francisco Gomez-Donoso, Miguel Cazorla, Marc Pollefeys, Daniel Barath, Zuria Bauer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 똑똑하고 박식한 사서(AI)에게, 자신의 눈으로 찍은 영상(예: 고프로를 머리에 쓴 영상) 속에서 사람이 무엇을 하고 있는지 인식하는 법을 가르치려 한다고 상상해 보세요. 그 영상에는 컵을 잡는 손, 빵을 써는 모습, 커피를 따르는 모습 등이 가득합니다.

문제는, 만약 당신이 사서에게 가공되지 않은 영상 프레임(사진들)을 그대로 보여준다면, 사서는 압도당하게 된다는 점입니다. 사서는 책을 읽고 이야기를 이해하는 데는 뛰어나지만, 영화를 보는 데는 그리 능숙하지 않습니다. 사서는 칼을 든 손과 빵 한 덩이를 볼 수는 있지만, 그 사람이 빵을 '썰고' 있는 것인지 아니면 그냥 가만히 '들고' 있는 것인지를 구분하는 데 어려움을 겪습니다. 사서는 1초 사이의 아주 작고 빠른 변화들에 혼란을 느낍니다.

논문의 해결책: "TAG" (시계열 행동 그래프, Temporal Action Graphs)

저자들은 영리한 우회 방법을 제안합니다. 사서에게 영상을 직접 보라고 요구하는 대신, 사서가 쉽게 읽을 수 있도록 영상을 구조화된 "이야기"나 "레시피"로 번역해 주는 것입니다. 그들은 이 과정을 TAG라고 부릅니다.

작동 방식은 다음과 같습니다.

1. "스냅샷" 번역가 (시각적 인지)

영상이 빠르게 재생되는 영화라고 상상해 보세요. 저자들은 이 전체를 한꺼번에 보여주지 않습니다. 대신 영상을 아주 작은, 서로 겹치는 클립들(한 번에 4프레임씩)로 잘게 쪼갭니다.

역할: 그들은 AI에게 이 작은 클립들을 보고 현재 무슨 일이 일어나고 있는지 설명하는 간단한 문장을 쓰라고 요청합니다.
비유: 이것은 보안 요원이 보안 카메라를 지켜보는 것과 같습니다. 보안 요원은 하루 종일 일어나는 일을 모두 기억하려고 애쓰는 대신, 몇 초마다 짧은 메모를 남깁니다: "손이 컵을 향해 뻗음", 이어서 "손이 컵을 잡음", 그다음 "손이 컵을 들어 올림."

2. 메모를 "레시피"로 변환하기 (기호적 추론)

AI가 이러한 문장들을 작성하고 나면, 저자들은 그 문장들을 **그래프(Graph)**라고 불리는 엄격하고 구조화된 사실 목록으로 변환합니다.

역할: 그들은 "손이 컵을 잡는다"라는 문장을 (손) --[잡다]--> (컵)이라는 공식적인 삼중항(triplet)으로 변환합니다.
비유: 이것은 엉망으로 적힌 손글씨 식료품 목록을 깔끔하고 정리된 스프레드시트로 만드는 것과 같습니다. 엉망인 목록에는 "우유 좀 사고, 달걀도 아마 필요하고, 아 그리고 빨간 사과도"라고 적혀 있습니다. 하지만 스프레드시트에는 품목: 우유, 동작: 구매, 품목: 사과, 색상: 빨간색, 동작: 구매라고 명확히 적힙니다.
도움이 되는 이유: AI는 수십억 개의 텍스트 문서를 학습했기 때문에 이러한 구조화된 목록(스프레드시트)을 읽고 이해하는 데 매우 능숙합니다. AI는 모호한 비디오 픽셀 속에 숨겨진 정보보다, "A가 B를 잡으면 C가 일어난다"와 같은 내용을 텍스트로 읽을 때 훨씬 더 잘 추론할 수 있습니다.

3. "보여주고 말하기" 학습 (인컨텍스트 학습, In-Context Learning)

이것이 이 논문의 가장 큰 기술입니다. 보통 AI에게 새로운 작업을 가르치려면 재학습(retraining)을 시켜야 하는데, 이는 비용이 많이 들고 시간이 오래 걸립니다. 하지만 이제 영상이 텍스트 목록이 되었기 때문에, 저자들은 **인컨텍스트 학습(In-Context Learning)**을 사용할 수 있습니다.

역할: AI에게 새로운 영상에 대한 정답을 맞히라고 하기 전에, 이미 텍스트 목록으로 변환된 다른 영상들의 예시와 그에 대한 정답을 몇 개 보여줍니다.
비유: 시험을 치르고 있다고 상상해 보세요. 선생님이 질문만 던지는 것이 아니라, "우리가 예전에 누군가 물을 따르는 것을 봤던 때를 기억하니? 여기 그 상황의 사실 목록이 있어. 이제 이 새로운 목록을 보고, 이 사람은 무엇을 하고 있는지 맞춰보렴"이라고 속삭여 주는 것과 같습니다.
결과: 논문은 AI에게 이러한 텍스트 기반의 예시를 한두 개만 보여주는 것만으로도 AI가 행동을 예측하는 능력이 현저히 향상된다는 것을 보여줍니다. 만약 AI에게 원본 영상을 보여주며 이 "보여주고 말하기"를 시도했다면, 영상은 용량이 너무 크기 때문에 AI의 메모리가 즉시 가득 차 버렸을 것입니다. 반면 텍스트 목록은 매우 작기 때문에 AI가 많은 예시를 쉽게 기억할 수 있습니다.

무엇을 발견했는가?

저자들은 11개의 다양한 규모를 가진 AI 모델을 사용하여 두 가지 유명한 비디오 데이터셋(EGTEA 및 Epic-Kitchens)에서 테스트를 진행했습니다.

"번역가"의 승리: 거의 모든 경우에서, AI는 원래의 비디오를 직접 보는 것보다 **텍스트 목록(그래프)**을 읽었을 때 더 높은 성능을 보였습니다.
"한 개의 예시"가 주는 효과: 프롬프트에 단 한두 개의 텍스트 예시를 추가하는 것만으로도 AI는 훨씬 더 똑똑해졌으며, 종종 원본 비디오 방식보다 큰 차이로 앞질렀습니다.
한계점: 이 시스템이 완벽한 것은 아닙니다. 만약 첫 번째 단계(메모를 쓰는 보안 요원)에서 실수를 하여, 실제로는 "씻고" 있는데 "썰고" 있다고 잘못 기록한다면, 최종 답변도 틀리게 됩니다. 시스템은 그것이 만들어낸 묘사의 수준에 의존합니다.

핵심 요약

이 논문은 현재의 AI 모델들이 영화를 보는 데는 서툰, 아주 똑똑한 독서가와 같다고 주장합니다. 그들에게 억지로 영화를 보라고 강요하는 대신, 영화를 그들이 읽을 수 있는 이야기로 번역해 주어야 합니다. 영상을 구조화된 텍텐츠 "그래프"로 변환함으로써, 우리는 AI의 타고난 추론 능력을 깨울 수 있으며, 이를 통해 "썰기", "따르기", "쥐기"와 같은 복잡한 행동을 수백만 시간의 비디오를 다시 학습하지 않고도 이해할 수 있게 합니다.

기술 요약: 프레임에서 시계열 그래프로 (From Frames to Temporal Graphs)

문제 정의

에고센트릭(egocentric) 행동 인식은 손과 물체 간의 상호작용(예: 잡기, 붓기, 자르기)에서 발생하는 미세한 시간적 전이를 포착해야 합니다. 시각-언어 모델(VLM)이 강력한 추론 시스템으로 부상했음에도 불구하고, 이를 에고센트릭 비디오에 직접 적용할 때는 어려움을 겪습니다. 현재의 VLM은 주로 정적인 이미지-텍스트 쌍으로 학습되었으며 명시적인 비디오 감독(supervision)이 결여되어 있습니다. 결과적으로, 비디오 시퀀스를 처리할 때 독립적인 장면 해석들을 일관된 움직임과 인과 관계에 대한 이해로 묶어내는 휴리스틱한 집계 과정에서 실패하는 경우가 많습니다. 이는 유사한 동작(예: 가져오기와 만지기)을 구분하는 결정적인 시간적 역동성을 상실하게 만듭니다. 또한, 가공되지 않은 비디오에 인컨텍스트 학습(In-Context Learning, ICL)을 적용하는 것은 비현실적입니다. 각 시각적 데모가 수천 개의 이미지 토큰을 소비하여 모델의 컨텍스트 창을 빠르게 고갈시키기 때문입니다.

방법론: TAG 프레임워크

저자들은 시각적 인지와 기호적 추론을 분리하는 학습 불필요(training-free) 프레임워크인 TAG(Temporal Action Graphs)를 제안합니다. RAW 픽셀을 추론 모듈에 직접 입력하는 대신, TAG는 에고센트릭 비디오를 구조화되고 텍스트로 직렬화 가능한 그래프로 변환합니다. 이 과정은 네 가지 주요 단계로 구성됩니다:

시간적 분해 (Temporal Decomposition): 입력 비디오 프레임을 중첩되는 시간 윈도우( $W_t$ )로 분할합니다. 각 윈도우는 마지막 프레임에 고정되지만, 진행 중인 상호작용을 명확히 하기 위해 이전 프레임들을 컨텍스트로 포함합니다.
뉴로-심볼릭 매핑 (Neuro-Symbolic Mapping, 2단계 프롬프팅):
- 1단계 (의미론적 기술): 각 윈도우에 대해, VLM은 지배적인 손-물체 상호작용을 설명하는 자유 형식의 자연어 내러티브를 생성합니다. 이는 의미론적 병목(semantic bottleneck) 역할을 하여, 모델이 기호적 정식화를 수행하기 전에 시각적 증거를 통합하도록 강제합니다.
- 2단계 (기호 추출): 내러티브는 $(source, relation, object)$ 형태의 상호작용 트리플렛(triplet)으로 구성된 구조화된 로컬 그래프( $G_t$ )로 파싱됩니다. 'source'는 고정된 어휘 집합(예: hand_left, camera_wearer)에서 가져오며, 'relation'은 오픈 보카블러리 동사이고, 'object'는 레이블과 두드러진 속성을 포함합니다.
시계열 그래프 구축 (Temporal Graph Construction): 로컬 그래프들은 하나의 시계열 행동 그래프(Temporal Action Graph, $G_\tau$ )로 조립됩니다. 이 유향 속성 그래프(directed attributed graph)는 트리플렛의 순서를 보존함으로써 의미론적 내용과 시간적 진화를 모두 포착합니다.
행동 예측 및 ICL: 직렬화된 그래프는 폐쇄 집합(closed-set) 행동 예측을 위해 VLM에 제공됩니다. 결정적으로, 그래프는 텍스트로 직렬화 가능하므로 프레임워크는 효율적인 **인컨텍스트 학습(ICL)**을 지원합니다. 몇 개의 레이블이 붙은 그래프 예시(데모)를 프롬프트 앞에 추가할 수 있는데, 이는 토큰 제한 때문에 원본 비디오로는 계산적으로 불가능했던 전략입니다.

주요 기여

프레임워크 도입: 다단계 프롬프팅을 통해 에고센트릭 비디오를 구조화된 오픈 보카블러리 상호작용 그래프로 변환하여, 미세 조정(fine-tuning) 없이 시각적 인지와 추론을 분리하는 방법론인 TAG를 제안했습니다.
경험적 검증: 구조화된 그래프를 통한 추론이 11개의 오픈 웨이트 VLM(2B에서 235B 파라미터 범위)에 대해 직접적인 프레임 기반 추론보다 일관되게 우수한 성능을 보임을 입증했습니다. 이는 사전 학습 데이터 오염이 픽셀 기반 암기를 유리하게 만드는 제로샷 설정에서도 유효합니다.
효율적인 인컨텍스트 학습 (ICL): 비디오를 언어 영역으로 투영함으로써, TAG는 원본 시각적 입력으로는 실질적으로 불가능했던 효율적인 퓨샷 학습(few-shot learning) 능력을 실현합니다.
포괄적 평가: 두 가지 주요 벤치마크(EGTEA 및 Epic-Kitchens-100)에 대해 광범위한 제로샷 및 퓨샷 평가를 수행하였으며, 그래프 구축 구성 요소, ICL 예시 수, 입력 프레임 예산에 대한 체계적인 절제 연구(ablation study)를 포함했습니다.

실험 결과

프레임워크는 11개의 VLM을 사용하여 EGTEA(106개 행동 클래스)와 Epic-Kitchens-100(3,806개 복합 행동 클래스)에서 평가되었습니다.

성능 향상: 소형, 중형, 대형 모델 체급 전반에 걸쳐, 그래프 기반 추론은 프레임 전용 베이스라인보다 일관되게 높은 정확도를 보였습니다. 예를 들어, GLM-4.6V-Flash 모델을 사용한 EGTEA 테스트에서, 그래프 표현에 ICL을 추가했을 때 프레임 전용 베이스라인 대비 평균 클래스 정확도(MCA)가 9.5% 향상되었습니다.
ICL 효과성: 그래프의 텍스트 직렬화 특성 덕분에 효과적인 퓨샷 학습이 가능했습니다. 대부분의 경우, 단 하나 또는 두 개의 레이블된 그래프 예시를 추가하는 것만으로도 성능이 크게 향상되었으며, 종종 제로샷 프레임 기반의 한계를 넘어섰습니다.
모델 불가지론적 특성 (Model Agnosticism): 이러한 이점은 다양한 아키텍처(Dense 및 Mixture-of-Experts)와 파라미터 규모에서 관찰되었습니다. 특히, 프레임 기반 베이스라인이 약한 모델(예: Llama-4-Scout)조차도 그래프와 ICL을 사용할 때 상당한 개선을 보였습니다.
절제 연구 (Ablation Studies):
- 슬라이딩 윈도우: 중첩되는 시간 윈도우의 사용이 성능 향상의 가장 큰 기여 요인이었습니다.
- 다단계 프롬프팅: 2단계 프로세스(내러티브 후 그래프 생성)는 직접적인 그래프 생성보다 접지(grounding) 능력을 향상시키고 환각(hallucination)을 줄였습니다.
- 프레임 예산: 프레임 전용 설정에서 입력 프레임 수를 늘리면 성능이 향상되었는데, 이는 TAG의 이점이 단순히 더 적은 프레임을 보기 때문이 아니라 구조화된 시간적 추상화에서 비롯됨을 확인시켜 줍니다.
실패 모드: 논문은 그래프 표현의 신뢰도가 윈도우별 인지의 신뢰도와 동일하다는 점을 언급합니다. 초기 내러티브의 오류(예: 씻기를 자르기로 잘못 식별)는 최종 예측으로 전파되지만, ICL이 때때로 이러한 다운스트림 오류를 교정할 수도 있습니다.

의의 및 주장

본 논문은 현재의 VLM이 역동적인 장면의 직접적인 시각적 관찰자보다는 **기호적 추론자(symbolic reasoners)**로서 더 효과적으로 기능한다고 주장합니다. 비디오를 언어 영역으로 투영함으로써, TAG는 시간적 시각 이해의 한계를 보완하기 위해 모델의 잠재된 추론 능력을 활용합니다.

저자들은 이 접근 방식을 현재 AI의 **실용적인 가교(pragmatic bridge)**로 규정합니다. 엔드 투 엔드 컴퓨팅 스케일링이 결국 비디오 이해를 네이티브하게 해결할 수는 있겠지만, 구조화된 언어 표현은 오늘날에 있어 필수적이고 확장 가능하며 학습이 필요 없는 대안을 제공합니다. 이 방법은 연구자들이 도메인 특화 미세 조정(예: Ego4D 기반)에 드는 막대한 비용 없이 일반 목적의 VLM을 정교한 에고센트릭 작업에 활용할 수 있게 해줍니다. 논문은 결론적으로, 이 파이프라인이 여러 번의 VLM 호출로 인해 추론 지연 시간이 길어지지만, 그 대가로 경쟁력 있는 정확도를 얻고 원본 비디오가 지원할 수 없는 효율적인 퓨샷 학습 능력을 끌어낸다고 밝히고 있습니다.