Hydra: 단일 비전 - 언어 모델 (VLM) 을 통한 문서 검색 및 생성 통합

이 논문은 Hydra라는 아키텍처를 제안하며, 기존에 분리되어 있던 문서 검색 (Retrieval) 과 생성 (Generation) 작업을 단일 비전 - 언어 모델 (VLM) 내에서 통합하는 방법을 제시합니다.

1. 문제 정의 (Problem)

기존의 시각적 문서 이해 (Visual Document Understanding) 시스템은 두 가지 근본적으로 다른 작업을 수행하기 위해 별도의 모델을 사용했습니다.

• 검색 (Retrieval): ColPali 나 ColQwen2 와 같은 ColBERT 스타일의 'late-interaction' 모델을 사용하여 쿼리에 맞는 문서 페이지를 찾습니다.
• 이해 및 생성 (Understanding & Generation): Qwen2.5-VL 과 같은 생성형 VLM 을 사용하여 해당 페이지에서 정보를 추출하고 답변을 생성합니다.

이러한 이중 모델 (Dual-model) 패러다임은 다음과 같은 비효율성을 초래합니다:

• 메모리 낭비: 두 모델이 동일한 비전 - 언어 트랜스포머 백본을 공유함에도 불구하고, 배포 시 두 모델을 모두 GPU 메모리에 로드해야 하므로 메모리 요구량이 두 배가 됩니다.
• 복잡성 증가: 시스템 배포 및 관리가 복잡해집니다.
• 불필요한 손실: ColPali 계열 모델은 VLM 을 파인튜닝하여 검색 전용으로 변환하는 과정에서 생성 능력을 희생합니다.

2. 방법론 (Methodology)

Hydra 는 단일 LoRA 어댑터와 모드 전환 (Mode Switching) 메커니즘을 통해 하나의 모델이 검색과 생성 두 가지 역할을 모두 수행하도록 설계되었습니다.

핵심 아키텍처

• 단일 VLM 백본: Qwen3.5-4B 와 같은 비전 - 언어 모델을 기반으로 합니다.
• 두 가지 헤드 (Heads):
  1. 검색 헤드 (Retrieval Head): custom_text_proj 를 통해 320 차원의 다중 벡터 (multi-vector) 임베딩을 생성합니다. ColBERT 스타일의 점수 매기기에 사용됩니다.
  2. 생성 헤드 (Generation Head): 기본 모델의 lm_head 를 사용하여 자동 회귀 (autoregressive) 텍스트를 생성합니다.
• LoRA 어댑터: 검색 작업에만 훈련된 단일 LoRA 어댑터 ($r=16, \alpha=64$) 를 사용합니다. 이 어댑터는 언어 모델의 모든 프로젝션 레이어와 custom_text_proj 에 적용되지만, 비전 인코더는 고정 (frozen) 됩니다.

모드 전환 메커니즘

추론 (Inference) 시점에 LoRA 어댑터의 활성화 여부를 토글링하여 모드를 전환합니다.

• 검색 모드 (LoRA-on): 어댑터를 활성화하고, 어텐션 마스크를 **양방향 (Bidirectional)**으로 변경하여 ColBERT 스타일의 임베딩을 생성합니다.
• 생성 모드 (LoRA-off): 어댑터를 비활성화하여 기본 모델의 가중치 ($W_{base}$) 를 정확히 복원합니다. 어텐션 마스크는 **인과적 (Causal)**으로 되돌아갑니다.

3 가지 핵심 엔지니어링 요구사항

이론적으로 LoRA 를 끄면 원래 가중치가 복원되지만, 실제로 작동하려면 다음 세 가지 기술적 요구사항을 충족해야 합니다. 이를 무시하면 생성 기능이 손상됩니다.

1. 어텐션 모드 복원 (Attention-mode restoration): 검색 훈련 시 양방향으로 패치된 어텐션 레이어를 생성 시점에 반드시 인과적 (causal) 어텐션으로 되돌려야 합니다. 그렇지 않으면 미래 토큰을 참조하여 생성이 깨집니다.
2. 기반 모델 lm_head 보존 (lm_head preservation): LoRA 훈련 중에도 lm_head 의 가중치가 손상되지 않도록 해야 합니다. 특히 임베딩 레이어와 가중치가 공유 (tied weights) 되거나 DDP(분산 데이터 병렬) 동기화 과정에서 그래디언트가 누출되는 것을 방지하기 위해, 별도의 기본 모델 인스턴스에서 lm_head 를 로드하여 관리해야 합니다.
3. KV-cache 인식 생성 (KV-cache-aware decoding): 비전 인코더를 매 토큰 생성마다 실행하면 속도가 매우 느립니다. 첫 번째 프론트패스 (forward pass) 에서 비전 특징을 처리하고, 이후 토큰 생성 시 KV-cache 를 재사용하여 약 38 배의 속도 향상을 이루어야 합니다.

3. 주요 기여 (Key Contributions)

1. 단일 어댑터 기반의 이중 헤드 접근법: 생성 훈련 없이 검색 전용 LoRA 어댑터 하나만으로 ColBERT 검색과 생성형 VLM 을 동시에 구현했습니다.
2. 엔지니어링 실패 모드 식별: LoRA 토글링이 생성 기능을 손상시키지 않기 위해 필요한 3 가지 기술적 요구사항 (어텐션 복원, lm_head 보존, KV-cache) 을 체계적으로 분석하고 제시했습니다.
3. 공동 훈련 (Joint Training) 의 불필요성 증명: GritLM 스타일의 검색과 생성을 동시에 훈련하는 방식이 LoRA 기반 훈련 ($r=16$) 환경에서는 추가적인 이점을 주지 않으며, 오히려 LoRA 토글링이 구조적으로 필요함을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

검색 성능 (ViDoRe 벤치마크)

• ViDoRe V1: Hydra(4B) 는 통제된 단일 헤드 베이스라인과 비교하여 평균 nDCG@5 에서 0.8842 를 기록했습니다 (베이스라인 0.8892, 차이 -0.5%p). 통계적으로 유의미한 성능 저하가 없었습니다.
• ViDoRe V2 & V3: 더 어려운 벤치마크에서는 Hydra 가 베이스라인보다 더 높은 성능을 보였습니다 (V2: +0.7%p, V3: +4.7%p).

생성 품질

• 정확한 가중치 복원: LoRA 를 비활성화했을 때, 10,500 개의 샘플에서 **100% 바이트 단위 (byte-identical)**로 동일한 출력을 생성했습니다.
• 벤치마크 비교: 4 가지 VQA 벤치마크 (DocVQA, ChartQA 등) 총 15,301 개 샘플에서 최대 ANLS 차이 ($|\Delta|$) 는 0.0044 에 불과하여 생성 품질이 손상되지 않았음을 확인했습니다.

효율성

• 메모리 절감: 검색과 생성 모델을 분리하여 로드하는 경우 (약 17.9GB) 대비 Hydra 는 10.5GB의 피크 VRAM 만 사용하며, 41% 의 메모리 감소 효과를 달성했습니다.
• 모드 전환 오버헤드: 모드 전환에 소요되는 지연 시간은 약 5.9ms 로, 전체 추론 시간의 1.8% 에 불과하여 무시할 수준입니다.

범용성 (Omni-Modal Extension)

• Qwen2.5-Omni-3B 모델에 적용하여 이미지, 오디오, 비디오 검색과 텍스트/음성 생성을 모두 지원하는 것을 증명했습니다. 추가 훈련 없이 제로샷 (zero-shot) 으로 오디오 및 비디오 검색이 가능했습니다.

5. 의의 및 결론 (Significance & Conclusion)

Hydra 는 LoRA 어댑터를 단순한 훈련 도구가 아닌, 추론 시의 모드 전환 스위치로 재해석한 획기적인 접근법입니다.

• 시스템 단순화: 별도의 검색 및 생성 모델을 관리할 필요 없이 단일 모델로 모든 작업을 처리할 수 있어 배포 복잡성을 크게 낮췄습니다.
• 비용 효율성: GPU 메모리 사용량을 40% 이상 줄여 고비용의 하드웨어 의존성을 낮추고, 더 많은 동시 요청 처리를 가능하게 합니다.
• 기술적 통찰: LoRA 기반 통합 모델에서 생성 능력을 유지하기 위해 필요한 구체적인 엔지니어링 조건 (어텐션 마스크 관리, 가중치 보호 등) 을 명확히 규명하여, 향후 유사한 연구에 중요한 가이드라인을 제공합니다.

결론적으로, Hydra 는 "하나의 모델, 여러 개의 헤드 (One model, many heads)"를 실현하여 문서 AI 시스템의 효율성과 성능을 동시에 극대화하는 새로운 표준을 제시합니다.