From Instructions to Assistance: a Dataset Aligning Instruction Manuals with Assembly Videos for Evaluating Multimodal LLMs

이 논문은 가구 조립 비디오와 설명서를 정렬한 'M2AD' 데이터셋을 구축하여 멀티모달 대형 언어 모델 (MLLM) 이 기술적 작업 보조자로서 설명서 참조, 진행 상황 추적, 그리고 추론 능력을 얼마나 효과적으로 수행하는지 평가하고, 현재 모델의 한계와 향후 개선 방향을 제시합니다.

핵심

1. 연구의 배경: "AI 가 설명서를 보고 나를 도와줄 수 있을까?"

상상해 보세요. 여러분이 IKEA(이케아) 의 복잡한 책장을 조립하고 있습니다. 설명서는 글자와 그림으로만 되어 있고, 여러분은 손으로 부품을 잡고 있습니다. 이때 눈이 나쁜 AI 비서가 옆에 있다고 칩시다.

• 과거의 AI: 설명서만 읽거나, 영상만 봤을 뿐, 둘을 연결하지 못해 "어디서부터 시작해야 할지" 몰라요.
• 이 연구의 목표: AI 가 **설명서 (텍스트/이미지)**와 **실제 조립 장면 (영상)**을 동시에 보고, "지금 3 단계예요, 나사 하나 더 꽂으세요"라고 실시간으로 도와주는 현명한 조립 도우미를 만드는 것입니다.

이를 위해 연구팀은 **'M2AD'**라는 새로운 데이터셋을 만들었습니다. 이는 "설명서와 실제 조립 영상이 완벽하게 매칭된" 거대한 도서관 같은 것입니다.

2. 실험 내용: AI 비서들의 실력 테스트

연구팀은 이 데이터를 이용해 공개된 AI 모델들 (LLaVa, Qwen, MolMo 등) 에게 세 가지 시험을 치렀습니다. 마치 조립 도우미 채용 시험 같은 거죠.

📝 시험 1: "지금 작업 완료했나요?" (Step Completion)

• 상황: AI 가 설명서의 특정 페이지와, 사용자가 조립 중인 영상을 봅니다.
• 질문: "이 단계는 다 끝났나요?"
• 결과: 대부분의 AI 는 동전 던지기 (50%) 수준이었습니다. 설명서 그림과 실제 부품을 비교해서 "아, 이 나사가 다 잠겼구나"라고 판단하는 것이 매우 어려웠습니다.

🔍 시험 2: "이 영상이 설명서의 어느 페이지인가요?" (Step Detection)

• 상황: 영상과 설명서 페이지 두 장을 보여줍니다. 하나는 맞는 페이지, 하나는 엉뚱한 페이지입니다.
• 질문: "이 영상은 설명서의 어느 페이지에 해당하나요?"
• 결과: 역시 대부분의 AI 는 헷갈렸습니다. 하지만 LLaVa-Video와 Qwen2-VL이 조금 더 잘해냈습니다.

🔢 시험 3: "지금 몇 단계인가요?" (Step Identification)

• 상황: 영상과 설명서 두 장을 보여주고, "지금 몇 단계인가?"라고 숫자로 답하게 합니다.
• 결과: 대다수 AI 는 숫자를 맞추는 데 실패했습니다. 하지만 MolMo라는 모델이 놀라운 성적을 냈습니다!
  • 비결: MolMo 는 설명서와 영상을 나란히 붙여서 보고, "왼쪽의 그림이 맞아요"라고 **공간적 위치 (좌우)**를 이용해 답을 찾았습니다. 마치 "왼쪽 페이지를 보세요"라고 손가락으로 가리키는 것과 비슷합니다.

3. 주요 발견 및 한계: "왜 AI 는 아직 완벽하지 않을까?"

이 실험을 통해 얻은 중요한 교훈들은 다음과 같습니다.

• 🧩 퍼즐 조각의 부재: 현재 AI 는 설명서 (2D 그림) 와 실제 영상 (3D 현실) 을 연결하는 데 서툴러요. 마치 2 차원 지도를 보며 3 차원 산을 등반하는 것처럼 어렵습니다.
• 🧠 기억력 부족: AI 는 한 번에 많은 정보를 처리하지 못합니다. 긴 조립 영상을 다 보려면 "기억력 (메모리)"이 필요한데, 일반 가정용 컴퓨터 (소비자용 하드웨어) 에서는 이 기억력이 부족해 정보를 잘라내야 했습니다.
• 👀 눈의 역할: 가장 잘한 모델 (MolMo) 은 "손가락으로 가리키는 (Pointing)" 능력이 있었습니다. 설명서의 특정 부분을 지시하며 "여기가 맞아요"라고 할 수 있는 능력이 중요하다는 것을 보여줍니다.

4. 결론: 앞으로의 전망

이 논문은 **"AI 가 설명서와 영상을 동시에 이해하는 것은 아직 어렵지만, 가능성은 열려 있다"**고 말합니다.

• 현재 상태: AI 는 아직 "조립 도우미"로 쓰기엔 실수가 많고, 설명서와 영상을 연결하는 데 고군분투 중입니다.
• 미래: 하지만 MolMo나 LLaVa 같은 모델들이 보여준 "공간적 이해"와 "여러 이미지를 동시에 보는 능력"은 희망적입니다.
• 비유: 지금의 AI 는 조립 설명서를 읽는 법은 알지만, 실제 부품을 만져본 적은 없는 초보 견습생과 같습니다. 하지만 이 연구를 통해 어떻게 하면 이 견습생을 더 똑똑한 숙련된 기술자로 키울 수 있을지 방향을 잡았습니다.

한 줄 요약:

"이케아 책장 조립처럼 복잡한 일을 AI 가 설명서와 영상을 보고 도와주려면, 아직은 '눈'과 '기억력'을 더 키워야 하지만, 그 첫걸음을 떼기 위한 훌륭한 지도 (M2AD 데이터셋) 를 만들었습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 의 발전으로 인공지능은 텍스트를 넘어 멀티모달 (이미지, 비디오, 오디오) 컨텍스트로 확장되고 있습니다. 특히 기술 지원 (Technical Assistance) 분야에서 LLM 기반 어시스턴트가 실시간으로 사용자를 돕는 시나리오가 주목받고 있습니다.
• 문제점:
  • 기존 벤치마크의 한계: 기존 데이터셋 (IKEA Manuals at Work, ENIGMA-51 등) 은 주로 단일 행동 인식 (Action Recognition) 이나 오류 탐지 (Error Detection) 와 같은 '원자적 (atomic)' 태스크에 집중되어 있습니다. 이는 복잡한 다단계 절차 (예: 가구 조립) 를 이해하고 실시간으로 보조하는 데 필요한 심층적인 추론 능력을 평가하기에 부족합니다.
  • 과도한 주석 의존성: 기존 데이터셋은 프레임 단위 (frame-level) 의 정밀한 라벨링과 복잡한 수작업 주석에 의존합니다. 이는 비용이 많이 들고 확장성이 떨어지며, 최신 멀티모달 LLM(MLLM) 이 원시 입력에서 정보를 자율적으로 추출하는 능력을 평가하는 데 적합하지 않을 수 있습니다.
  • 시각적/텍스트적 통합 부재: 사용자의 시점 (1 인칭/2 인칭) 과 지침서의 텍스트를 통합하여 실시간으로 추론하는 능력을 평가할 수 있는 표준이 부족합니다.

2. 방법론 (Methodology)

A. 제안된 데이터셋: M2AD (Manual-to-Action Dataset)

• 개요: IKEA 가구의 조립 비디오와 해당 조립 지침서 (Manual) 를 정렬한 새로운 데이터셋입니다.
• 데이터 구성:
  • 53 개의 다양한 가구 아이템, 총 1,228 개의 주석 (Annotation) 포함.
  • YouTube 의 공개 비디오를 활용하여 실제 환경의 변수 (사용자 숙련도, 시점 변경, 실수 등) 를 반영했습니다.
  • 주석 방식: 비디오의 각 조립 단계 (Step) 를 지침서의 해당 페이지 및 단계 번호와 매칭합니다. (시작/종료 타임스탬프, 단계 번호, 페이지 번호 포함)
  • 다양성: 1 인칭 (Egocentric, VR/AR 시뮬레이션) 과 2 인칭 (Exocentric, 외부 카메라) 시점을 모두 포함하여 다양한 관점에서의 평가를 가능하게 합니다.
• 주석 프로세스:
  • 최소한의 주석 (Minimal Annotation) 전략을 채택하여 모델이 사전 학습된 능력을 바탕으로 정보를 추출하도록 유도했습니다.
  • 두 명의 독립적인 주석가가 참여하여 일관성을 검증 (Inter-Annotator Agreement, IoU 약 70%) 했습니다.

B. 평가 실험 (Baseline Experiments)

• 사용 모델: 소비자급 하드웨어 (RTX 4090) 에서 실행 가능한 오픈 소스 MLLM 8 개 (LLaVa-Video, LLaVa-OneVision, MFuyu, MolMo, Ovis, Qwen2-VL, Pixtral, Mantis-Idefics2) 를 선정.
• 세 가지 핵심 태스크:
  1. 단계 완료 감지 (Step Completion Detection): 현재 비디오 프레임과 지침서 페이지를 보고, 해당 단계가 완료되었는지 판단.
  2. 단계 매칭 (Step Detection): 현재 수행 중인 비디오 단계가 제시된 여러 지침서 페이지 중 어느 것에 해당하는지 매칭.
  3. 단계 식별 (Step Identification): 현재 비디오 프레임이 지침서의 몇 번째 단계인지 정확한 숫자를 식별 (다중 분류 문제).

3. 주요 결과 (Results)

• 전반적 성능: 대부분의 모델이 무작위 추측 (Random Guess) 수준에 가까운 성능을 보였습니다. 이는 복잡한 다단계 절차 추론이 현재 오픈 소스 MLLM 에게 여전히 큰 도전임을 시사합니다.
• 성능이 상대적으로 우수한 모델:
  • LLaVa-Video: 단계 완료 감지 및 매칭 태스크에서 가장 좋은 성능을 보였습니다.
  • Qwen2-VL: 여러 태스크에서 안정적인 성능을 보였습니다.
  • MolMo: 단계 식별 (Step Identification) 태스크에서 놀라운 성능 (정확도 79.56%) 을 기록했습니다. 이는 모델이 이미지 내 객체를 가리키는 (Pointing) 능력과 공간적 추론 (Spatial Reasoning) 을 통해 지침서 페이지와 비디오 프레임을 시각적으로 비교했기 때문으로 분석됩니다.
• 한계점:
  • 아키텍처 및 하드웨어 제약: 긴 컨텍스트 윈도우 처리 능력 부족과 메모리 제한으로 인해 다중 프레임 분석이 제한되었습니다.
  • 멀티이미지/인터리빙 추론 부재: 텍스트와 이미지를 번갈아 가며 (Interleaved) 논리적으로 연결하는 능력이 부족하여, 지침서의 텍스트와 실제 조립 장면을 통합적으로 이해하는 데 어려움을 겪었습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 M2AD 제안: 단순한 행동 인식을 넘어, 지침서와 비디오를 정렬하여 다단계 절차적 추론 (Multi-step Procedural Reasoning) 능력을 평가할 수 있는 최초의 데이터셋 중 하나입니다.
2. 효율적인 주석 전략 검증: 복잡한 프레임 단위 주석 없이도, MLLM 이 원시 입력을 통해 태스크를 수행할 수 있는지 평가함으로써, 비용 효율적인 주석 전략의 가능성을 제시했습니다.
3. 실제 환경 시뮬레이션: 소비자급 하드웨어에서 실행 가능한 모델을 대상으로 실험하여, 산업 현장 (프라이버시 보호, 저지연 요구사항) 에 적용 가능한 현실적인 평가 기준을 마련했습니다.
4. MLLM 능력에 대한 통찰: 현재 오픈 소스 모델들이 '이미지 내 객체 지시 (Pointing)'와 '멀티이미지/텍스트 인터리빙' 능력에서 큰 차이를 보임을 발견했습니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: 이 연구는 멀티모달 AI 가 단순한 인식 단계를 넘어, 인간의 복잡한 절차적 작업 (가이드, 조립, 수리 등) 을 실시간으로 보조할 수 있는 수준으로 도달하기 위해 필요한 평가 기준을 제시했습니다.
• 미래 방향:
  • 아키텍처 개선: 멀티이미지 처리 및 인터리빙 텍스트 - 이미지 추론 능력을 강화한 모델 설계 필요.
  • 프리트레이닝/파인튜닝: 모달리티 간의 정렬 (Alignment) 과 지침서 따르기 (Instruction Following) 능력을 향상시키기 위한 학습 방법론 연구 필요.
  • 확장성: 가구 조립 외에도 차량 수리, 의료, 프로그래밍 등 다양한 도메인으로 평가 범위를 확장하여 모델의 일반화 능력을 검증할 수 있습니다.

결론적으로, 이 논문은 M2AD를 통해 멀티모달 LLM 의 실제 기술 지원 능력을 평가하는 새로운 패러다임을 제시하며, 현재 모델들의 한계를 명확히 하고 향후 발전 방향을 제시했습니다.