Each language version is independently generated for its own context, not a direct translation.

🎥 퓨니스타 2.0: 거대한 비디오 도서관의 '초고속 검색 전문가'

이 논문은 **'퓨니스타 2.0 (Fusionista2.0)'**이라는 새로운 시스템을 소개합니다. 이 시스템은 방대한 양의 비디오 데이터 속에서 사용자가 원하는 장면을 순식간에 찾아내는 역할을 합니다. 마치 거대한 도서관에서 책 한 권을 찾는 것처럼, 수만 개의 비디오를 순식간에 검색하는 기술입니다.

이 시스템을 이해하기 쉽게 일상적인 비유로 설명해 드릴게요.

1. 왜 필요한가요? (문제 상황)

상상해 보세요. 수만 개의 비디오가 쌓인 거대한 창고가 있다고 가정해 봅시다. 누군가 "빨간 차가 달리는 장면"을 찾아달라고 요청합니다.
기존 시스템은 이 창고를 천천히, 그리고 꼼꼼하게 하나하나 살펴보느라 시간이 너무 오래 걸렸습니다. 마치 도서관 사서가 모든 책장을 직접 뒤져서 책 제목을 하나하나 읽는 것과 비슷했죠.

하지만 '비디오 브라우저 쇼다운 (VBS)'이라는 대회에서는 엄청나게 짧은 시간 안에 정답을 찾아야 합니다. 그래서 우리는 **'스마트하고 빠른 검색 전문가'**가 필요했습니다.

2. 퓨니스타 2.0 은 어떻게 달라졌나요? (핵심 업그레이드)

퓨니스타 2.0 은 창고를 정리하고 검색 방식을 완전히 바꿨습니다.

🚀 1) 비디오 정리하기: "썰매를 타듯 빠르게"

이전: 비디오를 분석할 때 무거운 장비를 써서 느리게 움직였습니다.
현재: **'ffmpeg'**라는 도구를 이용해 비디오를 가장 중요한 장면 (키프레임) 만 빠르게 잘라냅니다.
- 비유: 영화 전체를 다 보는 대신, 하이라이트 장면만 빠르게 넘겨보며 중요한 장면을 찍어내는 것과 같습니다. 이렇게 하면 컴퓨터의 부담이 줄고 속도가 비약적으로 빨라집니다.

🔤 2) 글자와 소리 읽기: "작지만 똑똑한 비서"

글자 (OCR): 비디오 속의 글자를 읽을 때, 무거운 두꺼운 사전 대신 **'Vintern-1B-v3.5'**라는 가볍지만 똑똑한 비서를 고용했습니다. 이 비서는 흐릿하거나 가려진 글자도 잘 알아보고, 여러 나라 말도 잘 이해합니다.
소리 (ASR): 비디오 속 대사를 들을 때, 거대한 녹음실 대신 **'faster-whisper'**라는 빠른 녹음기를 썼습니다. 대부분의 비디오는 배경음만 있을 뿐 대사가 없으므로, 무거운 장비를 쓸 필요가 없었던 것입니다.
- 비유: 거대한 도서관 사서 대신, **손끝으로 빠르게 책을 훑어보는 '스마트한 도우미'**를 쓴 것입니다.

💬 3) 질문에 답하기: "빠른 두뇌 회전"

이전: 모든 질문에 답하려면 거대한 인공지능 (LLM) 을 썼는데, 이 친구는 생각할 시간이 너무 오래 걸렸습니다.
현재: **"InternVL-1B"**라는 가볍지만 민첩한 두뇌를 썼습니다.
- 비유: 모든 문제를 해결하기 위해 '노벨상 수상자'를 부르는 대신, **일상적인 질문 (사과가 몇 개야? 빨간색 차는 어디야?) 에는 즉시 대답하는 '재주꾼'**을 배치한 것입니다. 복잡한 질문은 사람이 도와주지만, 단순한 질문은 기계가 1 초 만에 해결합니다.

🔄 4) 다시 정렬하기 (Reranking): "사용자의 의도를 파악하는 눈"

검색 결과가 나왔을 때, 단순히 나열하는 게 아니라 AI 가 "이게 맞나요?"라고 사용자에게 확인 질문을 던집니다.
- 비유: 쇼핑할 때 "이 옷이 마음에 드시나요?"라고 물어보고, **"네, 노란색 강아지가 있는 장면이요"**라고 답하면, AI 가 그 조건에 딱 맞는 영상만 골라 다시 정리해 주는 것입니다.

3. 사용자 경험 (UI/UX): "편리한 스마트폰 앱처럼"

기존 시스템은 전문가만 쓸 수 있는 복잡한 기계 같았습니다. 하지만 퓨니스타 2.0 은 모바일 앱처럼 직관적이고 깔끔하게 바꿨습니다.

비유: 낡은 공장의 복잡한 조작 패널을, 스마트폰 터치 화면처럼 깔끔하고 반응이 빠른 인터페이스로 바꾼 것입니다. 초보자도 쉽게 검색할 수 있게 되었습니다.

4. 결과는 어땠나요?

이 모든 업그레이드를 통해 퓨니스타 2.0 은 놀라운 성과를 거두었습니다.

검색 속도: 최대 75% 가 빨라졌습니다. (기존에 1 분 걸리던 게 15 초 만에 끝남)
정확도: 더 정확한 결과를 찾아냈습니다.
사용자 만족도: 누구나 쉽게 사용할 수 있게 되어 만족도가 높아졌습니다.

🌟 한 줄 요약

퓨니스타 2.0 은 거대한 비디오 창고에서 "무거운 짐을 내려놓고, 가벼운 도구를 써서, 초고속으로 원하는 장면을 찾아주는 똑똑한 검색 전문가"입니다.

이 시스템은 앞으로 우리가 방대한 영상 데이터 속에서 정보를 찾을 때, 기다림 없이 바로 원하는 것을 찾아낼 수 있게 해 줄 것입니다.

Each language version is independently generated for its own context, not a direct translation.

Fusionista2.0: 대규모 데이터셋을 위한 효율적 검색 시스템

1. 문제 정의 (Problem)

비디오 브라우저 쇼다운 (VBS, Video Browser Showdown) 과 같은 환경에서는 제한된 시간 내에 방대한 양의 비디오 데이터 (수천 시간 분량, 테라바이트 급) 에서 정확한 결과를 찾아야 하는 과제가 존재합니다. 기존 시스템 (Fusionista, Fustar) 은 다음과 같은 한계를 보였습니다:

처리 속도 및 확장성 부족: 고도화된 모델 (CLIP, TransNetV2 등) 을 활용한 정교한 키프레임 추출 및 검색 파이프라인은 GPU 와 메모리 자원을 과도하게 소모하여 대규모 데이터셋 (V3C 등) 에 적용 시 비효율적이었습니다.
사용자 경험 (UX) 의 비효율성: 복잡한 인터페이스와 반복적인 콘텐츠 탐색으로 인해 비전문가 사용자의 학습 곡선이 높고 검색 속도가 느려졌습니다.
실시간성 부족: 대형 언어 모델 (VLM) 을 활용한 질문 응답 (QA) 은 정확도는 높을 수 있으나 추론 시간이 길어 VBS 와 같은 시간 제약이 엄격한 환경에 부적합했습니다.

2. 방법론 (Methodology)

Fusionista2.0 은 속도, 정확도, 사용성을 균형 있게 개선하기 위해 시스템의 모든 핵심 모듈을 재설계했습니다.

데이터 전처리 및 추출 최적화:
- 기존에 여러 모델 (CLIP, TransNetV2) 을 조합하던 복잡한 파이프라인을 폐기하고, ffmpeg 기반의 단일 통합 파이프라인으로 전환했습니다.
- 비디오 스트림을 결정론적으로 분석하여 인트라 코딩 프레임 (I-frames) 만을 키프레임으로 추출하고 타임스탬프와 매핑하여 저장함으로써, 계산 자원과 메모리 사용량을 획기적으로 줄였습니다.
텍스트 기반 검색 (Textual Search) 강화:
- 단일 CLIP 모델 대신 CLIP-Sig400M과 CLIP-ViT-5B 두 가지 최첨단 모델을 앙상블 (Ensemble) 방식으로 결합했습니다.
- 가중치 $\alpha=0.7$ (CLIP-Sig400M) 과 $1-\alpha=0.3$ (CLIP-ViT-5B) 를 적용하여 의미론적 정확도와 추론 속도의 균형을 최적화했습니다.
경량화된 OCR 및 ASR:
- OCR: 무거운 PaddleOCR 대신 Vintern-1B-v3.5 모델을 도입했습니다. 이 모델은 저자원 언어 데이터셋과 OCR 샘플로 미세 조정되어 흐릿하거나 가려진 텍스트도 추론할 수 있으며, 다국어 지원이 뛰어납니다.
- ASR: 대규모 Whisper 모델 대신 속도가 4 배 빠른 faster-whisper를 사용하여, 주로 배경음 위주인 VBS 데이터셋의 특성에 맞춰 효율적인 전사 (Transcription) 를 수행합니다.
질문 응답 (Question Answering, QA):
- 7B 이상의 대형 VLM 대신 **경량 VLM(≤1B 파라미터)**을 선택하여 속도와 정확도를 타협했습니다.
- 벤치마크 평가 결과, InternVL-1B-ffn6-Seq 모델이 객체 카운팅, 속성 인식, 텍스트 추출 등 주요 작업에서 평균 5 초 이내의 추론 시간과 높은 정확도를 보여 최종 모델로 선정되었습니다. 복잡한 추론이 필요한 경우 인간 전문가의 개입을 유도하는 'Human-in-the-loop' 전략을 병행합니다.
재순위화 (Reranking) 및 인터랙티브 확인:
- 초기 검색 결과에 대해 GPT-4o 를 활용해 3 가지 예/아니오 (Yes/No) 질문을 생성하고, 이를 비전 - 언어 모델 (VideoLLaMA, BLIP-2 등) 로 평가하여 사용자의 의도에 부합하는 결과를 재순위화하는 새로운 메커니즘을 도입했습니다.
UI/UX 리디자인:
- React(CRA) 에서 Vite 로 마이그레이션하여 시스템 성능을 대폭 향상시켰습니다.
- shadcn/ui 를 적용하여 접근성 (WCAG 준수) 을 높이고, 가상 스크롤, 사이드바 단축키, 대화형 VQA 인터페이스, 일괄 작업 등을 도입하여 불필요한 탐색을 줄였습니다.

3. 주요 기여 (Key Contributions)

효율적인 전처리 파이프라인: ffmpeg 기반의 키프레임 추출로 대규모 데이터셋 처리 시간을 단축하고 리소스 소모를 최소화했습니다.
다중 모달 검색 엔진: 텍스트, 이미지, 객체, OCR/ASR 기반 검색을 통합하고 경량 모델을 활용한 실시간 QA 를 가능하게 했습니다.
사용자 중심의 인터페이스: 비전문가도 쉽게 사용할 수 있도록 직관적이고 반응형이 뛰어난 UI 를 설계하여 검색 워크플로우를 최적화했습니다.
지능형 재순위화: 사용자의 의도를 명확히 하기 위한 질문 생성 및 VLM 기반 재순위화를 통해 검색 정확도를 높였습니다.

4. 결과 (Results)

검색 시간 단축: 시스템 최적화를 통해 검색 소요 시간을 최대 75% 단축했습니다.
정확도 및 만족도 향상: 재순위화 모듈과 앙상블 검색 모델의 도입으로 검색 정확도가 증가했으며, 사용자 만족도 또한 크게 향상되었습니다.
성능 벤치마크: InternVL-1B-ffn6-Seq 모델은 200 개의 비디오 - 질문 쌍에 대한 테스트에서 평균 2.48 초~4.80 초의 추론 시간을 기록하며, 대형 모델 대비 빠른 속도와 높은 정확도를 동시에 달성했습니다.

5. 의의 (Significance)

Fusionista2.0 은 대규모 비디오 검색 시스템이 직면한 '속도 vs 정확도'의 트레이드오프 문제를 성공적으로 해결한 사례입니다. 이 시스템은 VBS 2026 에서 경쟁력을 확보할 뿐만 아니라, 복잡한 기술적 배경이 없는 일반 사용자도 대규모 멀티미디어 데이터에서 관련 콘텐츠를 신속하게 찾을 수 있도록 하여 실제 현장 적용 (Real-world adoption) 의 장벽을 낮추는 데 기여했습니다. 이는 효율성과 사용성을 동시에 고려한 차세대 멀티모달 검색 시스템의 표준을 제시한다는 점에서 의미가 있습니다.

Fusionista2.0: Efficiency Retrieval System for Large-Scale Datasets