기술 요약: TimeLens

문제 정의

본 논문은 대이집트 박물관(GEM)을 위한 AI 기반 모바일 가이드 배포 시 발생하는 세 가지 핵심 과제를 다룹니다:

1. 미세한 시각적 유사성: 대상 컬렉션에는 51개의 카탈로그화된 유물이 포함되어 있으며, 이 중 상당수는 자세, 머리 장식 또는 동반되는 표준물(standards)의 미세한 차이만 있는 거의 동일한 라메세스 시대의 조각상들입니다.
2. 데이터-현실 간극 (Data-Reality Gap): 큐레이팅된 학습 데이터와 핸드헬드 카메라 촬영 조건(저조도, 배경 혼란, 시각적 중첩) 사이에는 상당한 불일치가 존재합니다.
3. 환각 위험 (Hallucination Risk): 표준 언어 모델은 종종 그럴듯하게 들리지만 역사적으로 근거 없는 사실을 지어내곤 하며, 이는 문화유산 가이드로서 용납될 수 없는 문제입니다.

기존 솔루션들은 실시간 온디바이스 인식(클라우드 지연 방지), 네이티브 아랍어 지원, 그리고 환각 없는 정확성을 동시에 충족하는 데 실패하고 있습니다.

방법론

TimeLens는 Flutter로 구축된 이중 언어(영어/아랍어) 모바일 애플리케이션으로, 온디바이스 유물 탐지기와 검색 증강 생성(RAG) 가이드라는 두 가지 주요 서브시스템을 통합합니다.

1. 온디바이스 유물 탐지

탐지 파이프라인은 **TensorFlow Lite (FP16)**로 내보내진 YOLOv8n 모델을 활용합니다. 개발 과정은 엄격한 데이터 품질 중심의 반복 연구를 따랐습니다:

• v1 (자동 어노테이션): 초기 레이블은 텍ometric 프롬프트를 사용하여 YOLO-World(파운데이션 모델)를 통해 생성되었습니다. 이는 잘못된 위치 지정 및 형제 클래스 간의 혼동으로 인해 낮은 성능(mAP@0.5 = 0.751)을 보였습니다.
• v2 (공간적 건전성 규칙): YOLO-World 출력을 필터링하기 위해 네 가지 기하학적 규칙이 적용되었습니다 (예: 프레임 하단 1/4 영역의 박스 제거, 가장 큰 면적의 박스 선택). 이를 통해 mAP@0.5는 0.867로 향상되었으나, 특정 클래스 간의 혼동 문제는 해결하지 못했습니다.
• v3 (전수 수동 어노테이션): 최종 데이터셋(24,384개 이미지)은 Roboflow에서 수동으로 어노테이션되었으며, 전체 유물 바운딩 박스 구분과 유사한 유물 간의 구분에 집중했습니다. 이 단계가 결정적이었으며, "깨진(broken)" 클래스가 없는 결과를 달着했습니다.

최종 모델은 5.97 MB 크기의 자산으로, 중간 사양의 안드로이드 폰에서 비동기적으로 실행되며, 신뢰성을 보장하기 위해 신뢰도 필터(전역 0.75, 시각적으로 유사한 Siptah의 조각상의 경우 0.90)를 사용합니다.

2. 이중 언어 RAG 가이드

Q&A 서브시스템은 영어와 아랍어로 기록된 108개의 레코드(54개의 고유 유물)를 포함하는 큐레이팅된 ChromaDB 지식 베이스에 기반하여 응답을 생성합니다.

• 아키텍처: 시스템은 FastAPI를 사용하여 Ollama를 통해 로컬에서 서비스되는 Gemma 4 E2B (Q4 K M) 모델로 쿼리를 라우팅합니다.
• 그라운딩 전략 (Grounding Strategy):
  • 언어 분리: 영어와 아랍어 청크는 별도의 컬렉션에 저장됩니다. 시스템은 스크립트 감지(아랍어 문자 비율 >30%)를 기반으로 쿼리를 라우팅합니다.
  • 청킹 (Chunking): 레코드는 정체성, 설명, 중요성 청크로 분할됩니다.
  • 검색 로직: 카메라 모드는 감지된 유물의 제목을 기반으로 결정론적 메타데이터 조회를 트리거합니다. 텍스트 모드는 키워드 기반 분류기를 사용하여 특정 필드(위치, 시대, 재료) 또는 유사도 검색으로 쿼리를 라우팅합니다.
• 최적화: 계층적 청킹, Flash Attention, 조정된 토큰 제한을 포함한 10가지 타겟 최적화를 통해 엔드 투 엔드 지연 시간을 30초 이상에서 약 10초로 단축했습니다.

주요 기여

본 논문은 두 가지 주요 엔지니어링 기여를 보고합니다:

1. 데이터 품질 중심의 탐지: 본 연구는 레이블 품질을 미세한 박물회 유물 탐지를 위한 결정적 요인으로 격리했습니다. 저자들은 레이블 클리닝과 수동 어노테이션이 모델 구조 변경이나 해상도 스케일링보다 더 큰 성능 향상(+0.116 및 +0.138 mAP@0.5)을 가져왔음을 입증했습니다. 최종 모델은 이전에 실패했던 모든 클래스를 해결했습니다.
2. 로컬, 그라운딩된 이중 언어 RAG: 시스템은 LLM을 검색된 컨텍스트로 엄격히 제한함으로써 영어와 아랍어 모두에서 환각 없는 답변을 제공합니다. 저자들은 청킹, 언어 분리, 쿼리 분류와 같은 그라운딩 메커니즘이 단순히 모델 크기를 키우는 것보다 제작(fabrication)을 방지하는 데 더 효과적임을 보여줍니다.

결과

• 탐지 성능: 최종 YOLOv8n 모델은 검증 세트에서 mAP@0.5 = 0.995 및 mAP@0.5:0.95 = 0.924를 달성했습니다. 이는 중간 사양의 폰에서 프레임당 약 800ms(1.25 FPS)로 실행되며, 현장 테스트 중 51개 클래스 전반에서 오분류가 관찰되지 않았습니다.
• RAG 성능: 텍스트, 카메라, 데이터셋 외 쿼리를 포함하는 30개 질문 평가 세트에서 시스템은 환각 제로 및 절단(truncation) 제로로 정확하고 근거 있는 답변을 제공했습니다.
• 지연 시간: 엔드 투 엔드 응답 시간이 약 10.2초로 단축되었으며(평가 시 답변당 평균 5.9초), 이는 박물관 방문객이 상호작용하기에 적절한 수준입니다.
• 자원 효율성: 전체 시스템은 범용 하드웨어에서 실행됩니다: 탐지를 위한 중간 사양의 모바일 폰과 RAG 백엔드를 위한 단일 소형 GPU(NVIDIA RTX A5000).

의의 및 주장

본 논문은 TimeLens가 무거운 클라우드 기반 AI 서비스와 단순한 QR 코드 시스템 사이의 간극을 성공적으로 메웠다고 주장합니다. 그 의의는 다음과 같습니다:

• 레이블 품질이 아키텍처를 압도함: 미세하고 도메인 특화된 탐지를 위해서는 모델의 복잡성이나 입력 해상도보다 레이블의 수동 검증이 더 중요합니다.
• 그라운딩이 환각을 방지함: 엄격한 검색 제약이 결합된 소형 양자화 모델(Gemma 4 E2B)은 사실적인 이중 언어 역사적 내러티브를 생성하는 데 있어 더 큰 모델보다 뛰어난 성능을 보일 수 있습니다.
• 로컬 배포의 타당성: 고정확도의 이중 언어 박물관 가이드는 지속적인 클라우드 연결성에 의존하지 않고도 범용 하드웨어에 배포될 수 있으며, 이는 대이집트 박물관 및 유사한 문화유산 현장의 특정 요구사항을 해결합니다.

저자들은 시스템이 테스트된 51개의 유물과 108개의 레코드에 대해 프로덕션 준비가 되었으나, 향후 연구로는 지식 베이스 확장과 키워드 기반 분류기를 학습된 의도 모델로 교체하는 것이 포함된다고 결론지었습니다.