기술 요약: LEGO Co-builder

문제 정의

현재 시각-언어 모델(VLM)은 미세한 공간 추론과 정밀한 객체 상태 탐지가 필요한 작업을 수행할 때, 다중 모달 조립 지침을 이해하고 따르는 데 있어 상당한 어려움을 겪고 있습니다. 기존의 벤치마크들은 객체 인식 및 캡셔닝과 같은 거시적 능력에는 뛰어나지만, 단계별 수동 조립에 필요한 세부적이고 절차적인 이해를 평가하는 데는 실패합니다. 현재의 모델들은 절차적 언어와 시각적 관찰을 정렬하는 데 어려움을 겪으며, 이는 GPT-4o가 시각적 장면에서 잘못 배치된 레고 조각을 인식하지 못하는 사례에서도 입증되었습니다.

방법론

데이터셋 구축: LEGO Co-builder

저자들은 실제 세계의 레고 조립 로직과 프로그래밍 방식으로 생성된 다중 모달 장면을 결합한 하이브리드 벤치마크인 LEGO Co-builder를 소개합니다. 이 데이터셋은 시각 장애인을 위해 설계된 65개의 공식 레고 조립 설명서에서 추출되었으며, 397개의 조립 세션, 5,612개의 장면, 4,784개의 객체, 2,716개의 상태로 구성됩니다. 데이터 생성 과정은 다음과 같습니다:

1. 수동 크롤링(Manual Crawling): 공식 출처로부터 단계별 텍스트 지침, 해당 이미지 및 메타데이터를 추출합니다.
2. 장면 이해(T1) 데이터: 현재 단계를 이전 지침과 맥락화하는 쿼리를 포함하는 (질의, 이미지, 텍계) 삼중항(triplet)을 생성합니다.
3. 객체 탐지(T2) 데이터: 모델이 객체를 식별하고 위치 텍스트(경계 상자)를 출력해야 하는 "탐색(seeking)" 단계를 위한 데이터셋을 생성합니다. 초기 좌표는 MiniGPT-v2에 의해 생성된 후, 규칙 기반 필터링 및 수동 점검을 거칩니다.
4. 상태 탐지(T3) 데이터: 조립된 부품에 자연스러운 섭동(무작위 이동)을 적용하여 부정 샘플(negative samples)을 생성함으로써 "변형된 상태(variant states)"를 생성합니다. 이를 통해 모델이 조립 단계가 올바른지 또는 틀린지를 검증할 수 있게 합니다.

통합 아키텍처 및 작업

본 논문은 비전 인코더, 대규모 언어 모델(LLM), 그리고 시각-언어 프로젝터를 통합하는 통합 "one-for-all" VLM 아키텍처를 제안합니다. 시스템은 세 가지 특정 작업에 대해 모델을 평가합니다:

• T1 (장면 이해): 이미지와 이전 지침으로 맥락화된 쿼리가 주어졌을 때, 모델은 객체의 표현과 속성을 포함하여 현재의 조립 단계를 설명합니다.
• T2 (객체 탐지): 이미지와 쿼리가 주어졌을 때, 모델은 특정 객체를 식별하고 특정 형식([객체] [X좌측] [Y상단] [X우측] [Y하단])으로 좌표를 출력합니다.
• T3 (상태 탐지): 이미지(원본 또는 섭동된 부정 샘술)가 주어졌을 때, 모델은 조립 상태가 올바른지 또는 틀린지를 결정합니다.

실험 설정

본 연구는 제로샷(zero-shot) 및 파인튜닝(LoRA 사용) 설정 모두에서 9개의 주요 VLM(mPLUG-OWL2, BLIP2, LLaVA, Qwen-VL, InstructBLIP, MiniGPT-v2, Otter, MiniGPT-4, GPT-4o 포함)을 벤치마킹합니다. 평가 지표로는 테마 엔티티, 객체 및 상태에 대한 F1 점수와 함께 BLEU, ROUGE, IoU(Intersection over Union), FPR(False Positive Rate)이 포함됩니다.

주요 결과

미세 조정 작업에서의 성능 격차

결과는 객체 탐지와 미세한 장면 이해 사이의 상당한 격차를 보여줍니다:

• 객체 탐지: 엔티티 식별 측면에서 성능이 비교적 높았습니다. 파인튜닝된 InstructBLIP은 F1-Object 점수 **98.16%**를 달성했습니다. 그러나 공간적 정밀도는 낮았으며, IoU는 **47.20%**에 불과하여 모델이 올바른 객체는 식별하지만 위치를 정확하게 찾는 데는 어려움이 있음을 나타냈습니다.
• 장면 이해: 테마 엔티티(예: 특정 레고 부품 이름 및 속성)에 대한 미세한 이해는 여전히 어려웠습니다. 가장 우수한 파인튜닝 모델인 MiniGPT-v2는 F1-Theme 점수에서 단 **37.52%**만을 기록했습니다.
• 상태 탐지: 이 작업은 가장 어려운 것으로 증명되었습니다. GPT-4o와 같은 고급 모델조차 상태 탐지에서 **40.54%**의 F1만을 달성했습니다. 파인튜닝된 InstructBLIP은 0.00%의 FPR(오탐지를 완벽히 피함)을 기록했으나, F1-State 점수는 거의 0에 가까운 0.02%를 기록하여 올바른 상태를 식별하는 데 실패했음을 보여주었습니다.

파인튜닝 및 모델 유형의 영향

• 파인튜닝의 이점: 일반적으로 파인튜닝은 오픈 소스 모델의 성능을 향상시켰습니다. 예를 들어, 파인튜닝된 LLaVA는 GPT-4o보다 ROUGE와 BLEU 점수에서 각각 2.30배와 8.87배 더 높은 점수를 보였습니다.
• 상용 vs 오픈 모델: 파인튜닝을 거친 오픈 소스 모델이 특정 지표에서 상용 모델(GPT-4o 등)을 능가하거나 대등한 성능을 보였는데, 이는 도메인 특화 지식(레고 부품)이 파인튜닝을 통해 효과적으로 학습될 수 있음을 시사합니다.
• 작업 난이도: 본 연구는 위치 정보의 정렬을 요구하는 작업(T2 및 T3)이 장면 묘사(T1)보다 훨씬 더 어렵다는 것을 발견했습니다. 많은 모델이 파인튜닝 없이는 위치 출력을 생성하지 못했습니다.

데이터 품질 및 쿼리 설계

• 데이터 품질: 생성된 부정 샘플에 대한 인간의 평가는 관련성 및 식별 가능성에 대해 보통 수준에서 거의 완벽한 일치도를 보였으며, 이는 합성 데이터 생성 파이프라인의 유효성을 입증합니다.
• 쿼리 구성: Qwen-VL 실험을 통해 지침과 인컨텍스트 예시를 모두 제공하는 것이 최상의 성능을 낸다는 것을 확인했습니다. 그러나 최적화된 쿼리를 사용하더라도 모델들은 상태 탐지에서 강한 긍정 편향(affirmative bias)을 보여, 모든 조건에서 높은 거짓 양성률(FPR > 97%)을 나타냈습니다.

주요 기여

1. 통합 벤치마크: 절차적 매뉴얼 가이드 조립에서 미세한 다중 모달 지침 준수를 평가하기 위한 특화된 데이터셋 및 벤치마크인 LEGO Co-builder 개발.
2. 작업 정식화: 조립 맥락에서 VLM의 능력을 엄격히 테스트하기 위해 장면 이해, 객체 탐지, 상태 탐지를 아우르는 통합 작업 정식화 도입.
3. 포괄적 평가: 제로샷 및 파인튜닝 설정 하에서 9개의 주요 VLM을 평가하여 미세한 시각적 이해 및 공간 추론의 격차를 밝혀냄.
4. 오픈 리소스: 향후 연구를 지원하기 위해 데이터셋, 벤치마킹 코드 및 모듈형 합성 데이터 생성 파이프라인 공개.

의의 및 주장

본 논문은 LEGO Co-builder가 고수준의 시각적 이해를 넘어 절차적 단계에 대한 정밀한 공간적 준수를 평가함으로써 현재 VLM 연구의 중요한 공백을 메운다고 주장합니다. 저자들은 현재의 모델들이 가구 조립이나 산업 조립과 같은 작업에 필요한 밀도 높고 미세한 인지 능력이 부족하다고 주장합니다.

이 연구의 의의는 다음과 같은 다중 모달 AI 어시스턴트의 발전에 있습니다:

• 접근성: 시각 장애인이 실시간 AI 기반 안내를 통해 복잡한 물리적 과업을 수행할 수 있도록 지원합니다.
• 교육 및 훈련: 시각적 입력, 언어, 그리고 잠재적인 증강 현실(AR)을 결-합하여 교육, 수술 실습, 산업 훈련 등의 분야에서 실습 경험을 강화합니다.

저자들은 자신들의 평가 시나리오가 시뮬레이션(2D)된 것이며, 데이터셋이 객체 탐지를 위해 모델 보조 주석에 의존하고 있다는 점을 인정하며 겸허한 입장을 유지합니다. 이들의 목표는 새로운 아키텍처를 제안하는 것이 아니라, 기존의 다중 모달 어시스턴트의 능력 격차를 드러냄으로써 더욱 견고하고 미세한 시각-언어 모델링을 향한 미래 연구를 안내하는 데 있음을 강조합니다.