Human-AI Divergence in Ego-centric Action Recognition under Spatial and Spatiotemporal Manipulations

이 논문은 3,000 명 이상의 인간 참가자와 AI 모델을 비교하여, 인간이 손 - 물체 상호작용과 같은 희소하고 의미 있는 시각적 단서에 의존하는 반면 AI 는 맥락 및 저수준 특징에 더 의존하며 시간적 교란에 덜 민감하다는 인간과 AI 의 이기중심 행동 인식 성능 차이를 규명합니다.

핵심

이 논문은 **"사람과 인공지능 (AI) 이 같은 장면을 볼 때, 어떻게 서로 완전히 다른 방식으로 행동을 이해하는지"**를 밝힌 흥미로운 연구입니다.

간단히 말해, **"AI 는 우리가 생각하지도 않는 엉뚱한 부분에서 행동을 추리한다"**는 놀라운 사실을 발견했습니다.

이 내용을 쉽게 이해할 수 있도록 **요리사 (사람)**와 **로봇 (AI)**의 비유를 들어 설명해 드리겠습니다.

---

1. 실험의 설정: "점점 작아지는 창문"

연구진은 'EPIC-KITCHENS'라는 주방에서 찍은 1 인칭 시점 (내가 요리하는 모습) 동영상을 준비했습니다. 그리고 이 영상들을 마치 점점 작아지는 창문을 통해 보는 것처럼, 화면을 잘라내며 실험을 진행했습니다.

• MIRC (최소 인식 영역): 사람이 행동을 정확히 알아볼 수 있는 가장 작은 조각.
• Sub-MIRC: 그보다 더 작은 조각 (사람은 못 보지만 AI 는 보일 수도 있음).

연구진은 이 작은 조각들을 보며 "무슨 행동을 하는지"를 사람 3,000 명과 최신 AI 모델에게 물어봤습니다.

2. 핵심 발견 1: "사람은 '손과 물건'을 보고, AI 는 '주변 배경'을 본다"

👨‍🍳 사람 (요리사) 의 방식: "핵심만 쏙!"

사람은 행동을 이해할 때 손이 물건을 어떻게 다루는지에 집중합니다.

• 비유: 컵에 물을 따르는 장면을 볼 때, 사람은 '손'과 '컵'이 어떻게 닿는지만 봐도 "물을 따르고 있구나"라고 바로 알 수 있습니다.
• 결과: 하지만 손이나 컵이 화면에서 사라지거나 가려지면, 사람은 순간적으로 "무슨 일인지 모르겠다"며 정답을 못 맞춥니다. 마치 열쇠가 없으면 문이 안 열리는 것처럼, 핵심 단서가 사라지면 인식도 뚝 끊깁니다.

🤖 AI (로봇) 의 방식: "주변 분위기 파악 대마왕"

AI 는 손이나 컵이 사라져도 **주변 배경 (싱크대, 벽, 다른 물건들)**을 보고 행동을 유추합니다.

• 비유: 손과 컵이 가려진 화면을 보면, AI 는 "아, 싱크대가 보이니까 아마 물을 따르는 중이겠지?"라고 주변 분위기를 보고 추측합니다.
• 결과: 흥미롭게도, 화면을 더 잘라내어 산만한 배경 (잡동사니) 을 없애주면, AI 는 오히려 더 잘 맞춥니다. 사람에게는 중요한 '손'이 사라져도, AI 에게는 방해되는 '배경'이 사라져서 더 명확해진 셈입니다.

💡 요약: 사람은 **핵심 (손과 물건)**이 사라지면 망하지만, AI 는 핵심이 사라져도 주변 배경으로 추론하거나, 오히려 잡동사니가 사라지면 더 잘 봅니다.

3. 핵심 발견 2: "시간을 뒤섞어도 사람은 괜찮지만, AI 는 무감각하다"

연구진은 영상의 시간 순서를 뒤섞어서 (예: 컵을 들기 전에 컵을 내려놓는 순서로) 실험을 했습니다.

• 사람: 시간 순서가 뒤섞여도, **손과 컵의 모양 (공간적 정보)**만 제대로 보이면 "아, 물을 따르는 거구나"라고 추론할 수 있습니다. 사람은 맥락과 경험을 통해 빈틈을 채웁니다.
• AI: 시간 순서가 뒤섞여도 거의 영향을 받지 않습니다. 심지어 어떤 경우에는 시간 순서가 뒤죽박죽이어도 오히려 더 잘 맞춥니다. 이는 AI 가 **시간의 흐름 (동작의 연속성)**을 제대로 이해하지 못하고, 그냥 **정지된 그림 (배경과 물체)**만 보고 "이건 물 따르는 장면이야"라고 외운 것과 비슷하다는 뜻입니다.

4. 결론: "왜 이 연구가 중요한가?"

지금까지 AI 는 완전한 영상으로 테스트했을 때 사람보다 잘하는 척했습니다. 하지만 이 연구는 **"완전한 영상은 AI 가 사람과 다른 방식을 써서 점수를 잘 받은 것일 뿐, 진짜 이해력은 부족하다"**고 지적합니다.

• 문제점: AI 는 사람이 중요하게 여기는 '손과 물건의 상호작용'을 보지 않고, '주변 배경'이나 '텍스처' 같은 엉뚱한 단서로 행동을 추측합니다.
• 해결책: 앞으로 더 똑똑한 AI 를 만들려면, 사람이 보는 것처럼 '핵심적인 손과 물건의 움직임'에 집중하도록 가르쳐야 합니다.

🌟 한 줄 요약

"사람은 '무엇을 하고 있는지 (핵심)'를 보고 행동을 이해하지만, AI 는 '어디에 있는지 (배경)'를 보고 행동을 추측합니다. AI 가 진짜 사람처럼 행동하려면, 배경이 아닌 '핵심 동작'을 보는 법을 배워야 합니다."

이 연구는 우리가 AI 를 더 안전하고, 인간과 자연스럽게 소통할 수 있는 로봇으로 만들기 위한 중요한 지도를 제공해 줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 1 인칭 시점 행동 인식은 보조 기술, 증강 현실, 웨어러블 AI 등 다양한 응용 분야에서 핵심적입니다. 인간은 저해상도, 가림 (Occlusion), 시각적 혼란 (Clutter) 이 있는 조건에서도 행동을 잘 인식하지만, 최신 AI 모델은 이러한 조건에서 취약합니다.
• 문제: 기존 벤치마크에서 높은 성능을 보이는 AI 모델이 인간과 동일한 시각적 특징 (Features) 과 전략을 사용하여 행동을 인식하는지, 아니면 다른 메커니즘에 의존하는지에 대한 명확한 이해가 부족합니다. 특히, 인간이 최소한의 정보로 행동을 인식하는 '임계점'과 AI 의 반응 사이의 괴리를 정량화한 연구는 드뭅니다.

2. 방법론 (Methodology)

2.1 데이터셋: Epic-ReduAct

• EPIC-KITCHENS-100 데이터셋에서 36 개의 비디오를 선정하여 Easy (AI 가 쉽게 인식) 와 Hard (AI 가 어렵게 인식) 카테고리로 나누었습니다.
• MIRC (Minimal Identifiable Recognition Crops) 프레임워크 적용:
  • 공간적 축소: 비디오를 계층적으로 4 분할 (Quadrants) 하여, 인간이 50% 이상 정확히 인식할 수 있는 가장 작은 공간 영역을 MIRC로 정의했습니다. MIRC 보다 더 작은 영역은 Sub-MIRC로 분류됩니다.
  • 시공간적 교란: MIRC 비디오의 프레임을 블록 단위로 무작위 순서로 재배치 (Scrambling) 하여 시간적 일관성을 파괴하면서도 공간적 내용은 유지했습니다.
• 최종적으로 8,151 개의 쿼드러드 (Quadrant) 비디오를 생성하여 실험에 사용했습니다.

2.2 평가 주체 및 지표

• 인간 평가: 3,000 명 이상의 참가자를 대상으로 온라인 실험을 수행하여 정답률과 인식 신뢰도를 측정했습니다.
• AI 모델 평가: 최신 비디오 행동 인식 모델인 **Side4Video (S4V)**를 사용했습니다.
• 정량적 지표:
  1. 인식 간격 (Recognition Gap, RG): MIRC 에서 Sub-MIRC 로 전환될 때의 성능 변화 차이. 인간과 AI 가 동일한 기준점 (Operating point) 에서 비교되도록 설계되었습니다.
  2. 평균 축소율 (Average Reduction Rate, ARR): 정보가 제거됨에 따라 성능이 얼마나 급격히 떨어지는지를 측정합니다.

2.3 정성적 분석

• 고수준 특징: 활성 손 (Active Hand), 활성 객체 (Active Object), 맥락적 객체 (Contextual Objects) 의 분할 및 가시성 분석.
• 중수준 특징: GBVS(Graph-Based Visual Saliency) 알고리즘을 사용하여 색상, 강도, 방향, 모션 등의 시각적 특징 맵을 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 진단 프레임워크 및 벤치마크 제안: 1 인칭 행동 인식에서 최소 공간 및 시공간 정보를 평가하기 위한 계층적 공간 축소, 시간적 교란, Epic-ReduAct 데이터셋, 그리고 인간-AI 비교를 위한 정량적 지표를 통합한 프레임워크를 제시했습니다.
2. 전략 수준의 공간 분석: 인간은 희소하고 의미론적으로 중요한 '손 - 객체 상호작용'에 의존하는 반면, AI 는 분산된 맥락적 객체와 중수준 통계 (Mid-level statistics) 에 의존함을 규명했습니다. 이는 AI 모델 설계 원칙에 대한 구체적인 가이드라인을 제공합니다.
3. 시공간적 분석 및 행동 분류: 행동을 **저시간적 행동 (LTA, 예: 씻기, 자르기)**과 **고시간적 행동 (HTA, 예: 열기, 닫기)**으로 분류하여, AI 가 시간적 교란에 대해 인간과 전혀 다른 반응 (LTA 의 경우 오히려 성능 향상) 을 보임을 발견했습니다.

4. 주요 결과 (Results)

4.1 공간적 축소 (Spatial Reduction)

• 인간: MIRC 에서 Sub-MIRC 로 넘어갈 때 인식률이 급격히 하락합니다. 이는 인간이 '활성 손 - 객체 (Active Hand-Object)'와 같은 핵심 의미론적 단서가 사라지면 인식에 실패함을 의미합니다.
• AI 모델: 성능이 점진적으로 하락하거나, 오히려 향상되는 경우가 많습니다.
  • 이유: AI 는 배경 잡음 (Noise) 이 제거되면 오히려 환경적 맥락 (Contextual Objects) 과 중수준 특징 (색상, 모션 등) 에 더 집중하여 행동을 인식합니다.
  • 실패 메커니즘: 인간은 핵심 객체 손실 시 실패하지만, AI 는 장면 전체의 통계적 구조 (Scene structure) 가 붕괴될 때 실패합니다. 즉, AI 는 배경 정보에 과도하게 의존합니다.
  • 회복 (Recovery): AI 는 활성 객체가 일부 가려지더라도 배경 (Sink, Counter 등) 이 유지되면 오히려 정확한 예측을 하는 '가위질 (Pruning)' 현상을 보입니다.

4.2 시공간적 교란 (Spatiotemporal Scrambling)

• 인간: 핵심 공간적 단서가 보존되면 시간적 순서가 뒤섞여도 비교적 강인하게 인식합니다. 하지만 행동 유형에 따라 인식률이 떨어지며 변동성이 큽니다.
• AI 모델: 시간적 교란에 매우 둔감합니다.
  • LTA vs HTA: **저시간적 행동 (LTA)**의 경우, AI 는 프레임 순서가 뒤섞여도 오히려 신뢰도가 높아지는 경향이 있습니다. 반면 **고시간적 행동 (HTA)**은 시간적 교란에 덜 민감하지만, 인간은 HTA 에서 시간적 교란에 더 큰 영향을 받습니다.
  • 이는 AI 가 시간적 일관성 (Temporal Coherence) 이 아닌 정적 맥락과 짧은 범위의 모션 통계에 의존하고 있음을 시사합니다.

4.3 정량적 비교

• 인식 간격 (RG): 인간은 모든 클래스에서 큰 성능 하락 (양의 값) 을 보인 반면, AI 는 대부분 음의 값 (성능 향상) 또는 작은 변동을 보였습니다.
• 평균 축소율 (ARR): 인간은 축소 단계가 깊어질수록 성능이 급격히 무너지는 반면, AI 는 완만하게 감소합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 벤치마크의 한계: 현재 높은 벤치마크 성능은 인간과 유사한 인식 능력을 의미하지 않으며, AI 는 인간과 질적으로 다른 전략 (맥락 의존, 잡음 제거를 통한 성능 향상 등) 을 사용합니다.
• 모델 개선 방향:
  • AI 모델이 인간처럼 핵심 의미론적 특징 (Active Object/Hand) 에 집중하도록 유도해야 합니다.
  • 불필요한 시간적 중복성을 줄이고, LTA/HTA 분류에 기반하여 필요한 프레임 수를 동적으로 조절함으로써 계산 효율성을 높일 수 있습니다.
  • MIRC 프레임워크를 학습 신호 (Training Signal) 로 활용하여, AI 가 최소 정보에서도 인간과 유사한 추론을 하도록 훈련할 수 있습니다.

이 연구는 인간과 AI 의 시각적 인식 메커니즘이 근본적으로 다르다는 것을 입증하고, 더 견고하고 해석 가능한 (Interpretable) 행동 인식 시스템을 구축하기 위한 구체적인 방향을 제시했다는 점에서 의의가 큽니다.