On Discriminative vs. Generative classifiers: Rethinking MLLMs for Action Understanding

이 논문은 폐쇄형 행동 이해를 위해 생성형 분류기의 비효율성과 모호성을 해결하고 정확도와 효율성을 동시에 향상시키기 위해 미세조정 단계에서만 작동하는 '생성 보조 판별형 (GAD)' 분류기를 제안하고, 다양한 벤치마크에서 기존 생성형 방법보다 우수한 성능을 입증합니다.

핵심

영상 속 행동을 이해하는 AI: "글쓰기" vs "선택하기"의 대결

이 논문은 Multimodal Large Language Models(MLLMs, 멀티모달 대형 언어 모델) 이 비디오 속의 행동을 어떻게 이해하고 분류하는지에 대한 흥미로운 연구를 다룹니다. 쉽게 말해, **"AI 가 비디오를 보고 '무엇을 하고 있는지'를 설명할 때, 직접 글을 써서 말하는 것 (Generative) 과 미리 정해진 답지 중에서 고르는 것 (Discriminative) 중 어떤 방식이 더 빠르고 정확한가?"**를 탐구한 것입니다.

이 복잡한 연구 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 두 가지 방식의 차이: "작가" vs "시험 감독"

비디오 속의 행동을 인식하는 AI 에게 두 가지 접근 방식이 있습니다.

• 생성형 분류기 (Generative Classifier) = "글쓰기 작가"

  • 방식: AI 는 비디오를 보고 "이 사람은 무엇을 하고 있나요?"라고 물으면, 직접 글자를 하나씩 이어가며 답변을 작성합니다.
  • 예시: "양파를 넣는다 (add onion)"라고 답해야 한다면, AI 는 add -> onion 순서로 단어를 하나씩 뱉어냅니다.
  • 문제점:
    1. 느림: 글자를 하나씩 써야 하므로 시간이 오래 걸립니다. (비유: 시험 문제를 풀 때, 지문을 읽고 답을 직접 문장으로 써야 하는 경우)
    2. 혼동: 비슷한 단어가 섞여 있으면 헷갈립니다. "양파를 넣다 (add onion)"와 "쌀을 넣다 (add rice)"는 'add(넣다)'라는 단어가 공통입니다. AI 는 이 공통된 부분 때문에 두 행동을 헷갈려 할 수 있습니다.

• 판별형 분류기 (Discriminative Classifier) = "시험 감독"

  • 방식: AI 는 비디오를 보고 미리 준비된 답지 (정답 목록) 중에서 가장 적합한 하나를 바로 선택합니다.
  • 예시: "양파를 넣다"라는 답을 고르면, 글자를 하나씩 쓰지 않고 한 번에 그 답을 가리킵니다.
  • 장점:
    1. 빠름: 글자를 쓰지 않고 바로 선택하므로 속도가 매우 빠릅니다. (비유: 객관식 문제를 풀 때, 답안지에 O 를 찍는 것)
    2. 명확함: 'add'라는 공통 단어로 인한 혼란이 없습니다. 각 행동은 고유한 '코드'처럼 다뤄지기 때문입니다.

2. 연구의 핵심 발견: "선택하기"가 더 낫다!

저자들은 실험을 통해 판별형 (선택하기) 방식이 생성형 (글쓰기) 방식보다 정확도도 높고 속도도 훨씬 빠르다는 것을 증명했습니다.

• 비유: "양파를 넣다"와 "양파를 자르다"를 구분할 때, 글쓰기 방식은 '양파'라는 공통 단어 때문에 헷갈려 실수할 수 있지만, 선택하기 방식은 두 행동이 완전히 다른 '정답 카드'로 구분되므로 실수가 적습니다.
• 결과: 판별형 방식은 생성형 방식보다 정확도가 2.5%~6.8% 더 높았고, 속도는 최대 3 배까지 빨라졌습니다.

3. 새로운 해결책: GAD (생성 보조 판별형)

그렇다면 "글쓰기"의 장점 (세밀한 의미 이해) 을 버리고 "선택하기"만 쓰는 게 최선일까요? 저자들은 **"둘 다 섞자!"**는 아이디어를 냅니다. 이것이 바로 **GAD(Generation-Assisted Discriminative)**입니다.

• GAD 의 작동 원리:

  1. 학습할 때 (훈련): AI 는 두 가지 일을 동시에 합니다.
     • 주임 (판별형): 비디오를 보고 정답을 선택합니다. (이게 최종 목표)
     • 보조 (생성형): 정답을 선택하는 과정에서, 왜 그 답을 선택했는지 설명하는 글을 잠시 써보게 합니다. (예: "이건 '양파를 넣는' 행동이야, 왜냐하면...")
  2. 실제 사용 시 (추론): 보조 역할인 '글쓰기'는 끄고, 오직 '선택하기'만 사용합니다.

• 비유:

  • 마치 수험생이 시험을 볼 때, 문제를 풀기 전에 스스로 설명을 적어보며 개념을 정리한 뒤, 실제 시험지에는 정답만 빠르게 체크하는 것과 같습니다.
  • 설명을 적어보는 과정 (생성) 이 개념을 더 깊이 이해하게 도와주지만, 실제 시험에서는 그 설명을 쓰느라 시간을 낭비하지 않고 빠르게 답을 고릅니다.

4. 결론: 왜 이 연구가 중요한가?

이 연구는 AI 가 비디오를 이해하는 방식을 혁신적으로 바꿉니다.

1. 효율성: AI 가 비디오를 실시간으로 분석할 때, 불필요한 글쓰기 과정을 없애 속도를 획기적으로 높였습니다.
2. 정확성: 비슷한 행동들 (예: '양파 넣기' vs '소금 넣기') 을 더 명확하게 구분하게 되었습니다.
3. 유연성: 학습 단계에서는 AI 가 스스로 설명하며 배우게 하고, 실제 적용 때는 빠르게 판단하게 하여 가장 좋은 두 마리 토끼를 다 잡았습니다.

한 줄 요약:

"비디오 속 행동을 이해할 때, AI 가 글을 써서 설명하는 것보다 미리 정해진 답지 중에서 바로 고르는 것이 훨씬 빠르고 정확하며, 여기에 '설명하기' 훈련을 살짝 섞어주면 더 똑똑해진다!"

이 기술은 실시간 비디오 분석, 로봇의 행동 이해, 자동화된 영상 콘텐츠 분석 등 다양한 분야에서 AI 의 성능을 크게 끌어올릴 것으로 기대됩니다.

기술 요약

이 논문은 **멀티모달 대규모 언어 모델 (MLLMs)**을 사용하여 **폐쇄 집합 (closed-set) 환경에서의 시계열 행동 이해 (Temporal Action Understanding)**를 수행할 때, **생성형 분류기 (Generative Classifier)**와 **판별형 분류기 (Discriminative Classifier)**의 성능을 비교하고, 이를 개선하기 위한 새로운 프레임워크인 생성 보조 판별형 (Generation-Assisted Discriminative, GAD) 분류기를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

기존의 MLLM 기반 비디오 이해 연구들은 행동 라벨을 자유 형식의 텍스트로 autoregressive(자기회귀) 방식으로 생성하는 생성형 분류기 방식을 주로 사용했습니다. 그러나 이 논문은 폐쇄 집합 분류 작업에서 이 방식이 비효율적이며 성능 한계가 있음을 지적합니다.

• 비효율성: 행동 라벨을 토큰 단위로 순차적으로 생성해야 하므로 추론 (inference) 속도가 느립니다.
• 의미적 중첩 (Semantic Overlap): 행동 라벨 (예: "onion 추가", "rice 추가") 이 공통된 동사나 서브워드 (subwords) 를 공유할 경우, 생성 과정에서 의미적 혼란이 발생하여 오분류가 빈번하게 일어납니다.
• 판별형의 우위: 반면, 판별형 분류기는 명확한 결정 경계를 학습하여 한 번의 순전파 (forward pass) 로 행동을 예측하므로 효율적이고 정확도가 높습니다.

2. 방법론 (Methodology)

저자들은 MLLM 을 기반으로 한 생성 보조 판별형 (GAD) 분류기를 제안하며, 이는 다음과 같은 핵심 요소들을 포함합니다.

• 판별형 분류기 (Discriminative Classifier) 설계:

  • 기존 MLLM 아키텍처 (비주얼 인코더 + 언어 디코더) 에 학습 가능한 [CLS] 토큰을 입력 시퀀스 끝에 추가합니다.
  • 이 [CLS] 토큰이 모든 시각 및 텍스트 토큰을 주시 (attend) 하여 글로벌 표현을 생성하도록 합니다.
  • 생성 헤드를 비활성화하고, [CLS] 토큰의 표현을 기반으로 행동 라벨을 직접 분류하는 크로스 엔트로피 손실 (cross-entropy loss) 을 최적화합니다. 이는 라벨의 서브워드 분할로 인한 의미적 중첩을 제거합니다.

• 생성 보조 (Generation-Assisted) 전략:

  • 순수 판별형 방식은 생성된 텍스트가 가진 풍부한 의미와 맥락 정보를 활용하지 못한다는 단점이 있습니다.
  • 이를 보완하기 위해 **보조 생성 작업 (Auxiliary Generative Task)**을 도입합니다. 즉, 분류 학습과 동시에 행동 라벨이나 맥락 정보 (예: 이전 행동, 전체 작업 목표) 를 생성하도록 합니다.
  • 학습 단계: 판별형 손실 ($L_{cls}$) 과 생성형 손실 ($L_{gen}$) 을 가중치 $\lambda$로 결합하여 동시 학습합니다. ($L_{GAD} = L_{cls} + \lambda L_{gen}$)
  • 추론 단계: 생성 헤드는 비활성화하고 판별형 분류기만 사용하여 최종 예측을 수행합니다. 이를 통해 판별형의 높은 효율성을 유지하면서 생성 과정을 통해 학습된 풍부한 표현을 활용합니다.

• 토큰화 전략 분석:

  • 실험을 통해 생성형 분류기의 성능 저하가 공유된 서브워드 (subwords) 의 의미적 중첩 때문임을 규명했습니다.
  • 행동 라벨을 토크나이저의 새로운 단일 토큰으로 추가하거나 (Extended Vocabulary), 서브워드를 무작위로 매핑하여 중첩을 제거하면 생성형 분류기의 성능이 판별형 수준으로 향상됨을 확인했습니다.

3. 주요 기여 (Key Contributions)

1. 생성형 vs 판별형 비교 분석: 행동 이해 작업에서 생성형 분류기가 의미적 중첩으로 인해 판별형 분류기보다 성능이 낮고 느리다는 것을 체계적으로 증명했습니다.
2. GAD 프레임워크 제안: 판별형 분류기의 효율성과 정확도를 유지하면서, 생성 모델링을 보조 작업으로 활용하여 표현 학습을 강화하는 새로운 아키텍처를 제안했습니다.
3. 효율성과 성능의 동시 달성: GAD 는 학습 시 생성 작업을 통해 맥락 정보를 학습하지만, 추론 시에는 생성 단계를 생략하여 판별형 분류기만큼 빠른 속도를 유지합니다.
4. SOTA 달성: 다양한 데이터셋과 작업에서 기존 최첨단 (SOTA) 방법론을 능가하는 결과를 달성했습니다.

4. 실험 결과 (Results)

저자들은 COIN, EPIC-Kitchens-100, Ego4D GoalStep, CrossTask, THUMOS'14 등 5 개의 데이터셋에서 4 가지 작업 (단계 인식, 단계 예측, 작업 인식, 온라인 행동 감지) 을 평가했습니다.

• 정확도 향상:
  • COIN: 평균 2.5% Top-1 정확도 향상.
  • EPIC-Kitchens-100: 평균 6.8% F1 점수 향상.
  • Ego4D GoalStep: 1.5% F1 점수 향상.
  • 특히, 1B 파라미터 모델이 기존 8B 모델 기반의 생성형 방법론보다 더 높은 성능을 기록했습니다.
• 효율성 (속도):
  • 판별형 방식은 autoregressive 생성을 제거하여 3 배 이상 빠른 추론 속도를 달성했습니다 (예: COIN 에서 3 배, EPIC-Kitchens-100 에서 1.8 배).
  • 학습 속도 또한 토큰 생성 단계를 생략함으로써 약 1.8 배 빨라졌습니다.
• 오분류 다양성 감소: 생성형 분류기는 의미적으로 유사한 행동 (예: "onion 추가" vs "rice 추가") 을 혼동하는 경향이 강했으나, GAD 는 이러한 오분류의 다양성을 줄이고 더 일관된 예측을 수행했습니다.

5. 의의 및 결론 (Significance)

이 논문은 MLLM 을 비디오 행동 이해와 같은 분류 작업에 적용할 때, 생성형 접근법의 한계를 명확히 지적하고 판별형 접근법의 우월성을 입증했습니다. 또한, 생성형 모델링을 보조 도구로 활용하여 판별형 학습을 강화하는 GAD 프레임워크를 통해, 높은 정확도와 빠른 추론 속도를 동시에 달성할 수 있음을 보여주었습니다.

이는 실시간 비디오 이해 시스템 및 효율적인 멀티모달 애플리케이션 개발에 중요한 통찰을 제공하며, MLLM 의 폐쇄 집합 분류 작업을 위한 새로운 표준 아키텍처로 자리 잡을 수 있는 가능성을 제시합니다.