기술 요약: LlamaSeg

문제 정의

멀티모달 대규모 언어 모델(MLLM)이 다양한 시각-언어 태스크를 자기회귀(autoregressive) 프레임워크 하에 성공적으로 통합해 왔으나, 이를 **밀집 이미지 세그멘테이션(dense image segmentation)**으로 확장하는 데에는 여전히 큰 어려움이 따릅니다. 기존의 자기회귀 기반 세그멘테이션 방식은 다음과 같은 세 가지 주요 한계를 가집니다:

1. 임베딩 기반 방식(Embedding-based methods): 잠재 토큰(예: <SEG>)을 예측하고 픽셀 단위 생성을 위해 외부 전문 모델(SAM 등)에 의존하며, 이는 통합된 엔드투엔드(end-to-end) 프레임워크라는 목표를 저해합니다.
2. 좌표 기반 방식(Coordinate-driven methods): 마스크를 폴리곤 정점의 시퀀스로 인코딩합니다. 이는 다음 토큰 예측 방식과 일치하지만, 복잡한 경계를 포착하기 위해 긴 시퀀스가 필요하여 효율성과 확장성을 떨어뜨립니다.
3. 텍스트 조건부 방식(Text-conditioned methods): 세그멘테이션을 텍나 생성(카테고리 토큰 또는 설명 출력)으로 공식화하며, 이후 반드시 마스크로 변환 과정을 거쳐야 하므로 공간적 정밀도가 필연적으로 제한됩니다.

현재의 방법들은 단일한 통합 자기회귀 아키텍처 내에서 미세한 수준의 엔드투엔드 세그멘테이션을 제공하지 못하고 있습니다.

방법론: LlamaSeg

저자들은 이미지를 시각적 생성 태스크로 재정의하는 시각적 자기회귀 프레임워크인 LlamaSeg를 제안합니다. 이 모델은 좌표나 텍스트를 예측하는 대신, 이산적인 시각적 토큰의 시퀀스로서 세그멘테이션 마스크를 직접 생성합니다.

핵심 아키텍처

• 마스크 토큰화(Mask Tokenization): 세그멘테이션 마스크를 이미지와 같은 구조(흑백 픽셀)로 취급하고, VQGAN(Vector Quantized Generative Adversarial Network)을 사용하여 이산적인 토큰 시퀀스로 이산화합니다. 인코더는 정규화된 마스크를 특징량으로 변환하고, 이를 코드북으로부터 이산적인 코드 인덱스로 양자화합니다.
• 자기회귀 생성기(Autoregressive Generator): 다음 토큰 예측을 위해 LLaMA 스타일의 트랜스포머가 사용됩니다.
  • 입력: 모델은 텍나 프롬프트, 이미지 특징(SigLIP에 의해 인코딩됨), 그리고 학습 가능한 구분자 토큰(<BOI>, <BOM>)이 결로된 입력을 받습니다.
  • 출력: 모델은 마스크 토큰(코드 인덱스)을 자기회귀적으로 생성합니다.
  • 디코딩: 추론 과정에서 예측된 토큰 시퀀스는 코드북에 다시 매핑되고, 2D 특징 맵으로 재구성된 후, VQGAN 디코더에 의해 세그멘테이션 마스크로 재구성됩니다.
• 학습 변형(Training Variants):
  • 처음부터 학습(From Scratch): 고정된 이미지/텍스트 인코더와 학습 가능한 어댑터를 갖춘 기본 LLaMA 아키텍처를 사용합니다.
  • 사전 학습된 MLLM 적응(Pre-trained MLLM Adaptation): 생성 구성 요소는 동결한 채로, 효율적인 미세 조정을 위해 LoRA(Low-Rank Adaptation)를 사용하여 사전 학습된 MLLM(Janus Pro)을 활용합니다.

데이터 구축: SA-OVRS

이러한 패러다임을 위한 대규모 학습 데이터의 부족을 해결하기 위해, 저자들은 5,800개 이상의 오픈 보캐블러리 레이블과 다양한 텍스트 설명이 주석 처리된 200만 개의 세그멘테이션 마스크를 포함하는 SA-OVRS 데이터셋을 구축했습니다.

• 파이프라인: 2단계 주석 프로세스가 개발되었습니다:
  1. 레이블 생성 및 매칭: Qwen2-VL을 사용하여 후보 오픈 보캐블러리 레이블을 생성하고, GroundingDINO를 사용하여 이를 SA-1B 마스크와 매칭하며, 엄격한 필터링(IoU 임계값, 신뢰도 점수)을 적용합니다.
  2. 텍스트 데이터 생성: 각 인스턴스에 대해 고유한 참조 표현(referring expressions)과 추론 설명을 생성하며, 모호성을 방지하기 위해 교차 검증을 통해 검증합니다.

평가 지표: dAHD

본 논문은 다단계 IoU 임계값 하에서의 **평균 하우스도르프 거리(average Hausdorff Distance, dAHD)**를 복합 지표로 도입합니다. 영역의 중첩을 측정하는 표준 IoU와 달리, dAHD는 예측된 경계점과 실제 경계점 사이의 양방향 유클리드 거리를 계산함으로써 **경계 충실도(contour fidelity)**를 평가합니다. 이는 생성형 세그멘테이션 모델의 품질을 평가하는 데 매우 중요합니다.

주요 기여

1. LlamaSeg 프레임워크: 세그멘테이션을 LLM 아키텍처 내에 통합하여, 외부 전문 모델 없이도 고충실도의 미세한 마스크를 위한 네이티브 다음 토큰 예측을 가능하게 하는 시각적 자기회귀 세그멘테이션 프레임워크입니다.
2. SA-OVRS 데이터셋: 오픈 보캐블러리 레이블과 풍부한 텍스트 설명을 갖춘 대규모 데이터셋(200만 인스턴스)이며, 향후 연구를 촉진하기 위한 재사용 가능한 주석 파이프라인을 제공합니다.
3. dAHD 지표: 생성형 모델의 마스크 경계 충실도를 더 잘 평가하기 위해 설계된 새로운 평가 지표로, 기존 영역 기반 지표의 한계를 해결합니다.

실험 결과

ADE20K, COCO-Stuff, PC-459, PC-59, PAS-20 및 참조 세그멘테이션 데이터셋(refCOCO, refCOCO+, refCOCOg)을 포함한 여러 벤치마크에서 실험이 수행되었습니다.

• 시맨틱 세그멘테이션(Semantic Segmentation): LlamaSeg는 모든 벤치마크에서 기존 시각적 생성 모델(예: Unified-IO 시리즈)을 일관되게 능가합니다. LlamaSeg-L(1.5B 파라미터)은 ADE20K에서 52.0 mIoU, COCO-Stuff에서 55.7 mIoU를 달성하여, 더 많은 파라미터를 가진 Unified-IO2-XXL(6.6B)보다 뛰어난 성능을 보였습니다. 더 높은 해상도의 입력(384px)은 성능을 더욱 향상시킵니다.
• 참조 세그멘테이션(Referring Segmentation): LlamaSeg는 참조 세그멘테이션 태스크에서 다른 시각적 생성 접근 방식보다 우수한 성능을 보이며, refCOCO testA에서 60.5 cIoU(LlamaSeg-L)를 달성했습니다. 다만, 특화된 판별 모델(discriminative models)보다는 약간 뒤처져 있습니다.
• 경계 정확도(Boundary Accuracy): LlamaSeg는 현저히 우수한 경계 정밀도를 보여줍니다. dAHD 지표에서 LlamaSeg-L은 ADE20K에서 25.54, refCOCO에서 10.45의 점수를 기록했으며, 이는 Unified-IO 변형들(예: ADE20K에서 약 79.72인 Unified-IO2-XXL)보다 훨씬 낮아(좋은 수치) 훨씬 높은 경계 정렬도를 나타냅니다.
• 효율성: 병렬 판별 모델(LAVT)보다는 느리지만, LlamaSeg는 다른 생성적 접근 방식(Unified-IO2-Large)보다 훨씬 빠르며, 생성 패러다임 내에서 개선된 효율성을 입증했습니다.
• 절제 연구(Ablation Studies):
  • 토큰화: 사전 학습된 VQGAN(동결)이 미세 조정된 버전보다 마스크 데이터에서 더 우수한 성능을 보였으며, 이는 색상 이미지 사전 학습이 에지를 효과적으로 포착함을 시사합니다.
  • 디코딩: 결정론적 마스크 생성을 위해 그리디 서치(Greedy search)가 가장 효과적인 전략입니다.
  • 데이터: SA-OVRS에서의 사전 학습이 성능에 결정적이며, 학습 없이 훈련된 모델보다 명확한 이득을 가져옵니다.

의의 및 주장

본 논문은 LlamaSeg가 자기회귀 언어 모델링과 밀집 시각 예측 사이의 간극을 성공적으로 메웠다고 주장합니다. 마스크를 시각적 토큰으로 취급함으로써, 이 방법은 모델 크기와 해상도에 따라 확장 가능한 엔드투엔드 통합 세그멘테이션을 가능하게 합니다. 저자들은 자신들의 접근 방식이 기존 생성 방식에 비해 더 미세하고 정확한 경계 보존 능력을 갖춘 더 정교한 세그멘테이션 마스크를 제공한다고 단언합니다. SA-OVRS와 dAHD 지표의 도입은 외부 모듈이나 거친 좌표 표현에 대한 의존을 넘어, 자기회귀 세그멘테이션 분야를 발전시키기 위한 필수적인 자원과 도구를 제공합니다.