SEGAR: 생성형 증강현실 (GAR) 을 위한 선택적 향상 프레임워크

1. 문제 정의 (Problem)

• 배경: 생성형 세계 모델 (Generative World Models) 은 미래의 이미지 시퀀스를 예측하여 증강현실 (AR) 에 적용할 수 있는 잠재력을 가지고 있습니다. 기존 AR 이 라이브 카메라 피드에 가상 객체를 합성하는 방식이라면, 생성형 AR (GAR) 은 생성형 백본을 통해 전체 뷰를 재합성하여 증강된 콘텐츠를 출력 이미지 자체로 만듭니다.
• 핵심 과제:
  1. 실시간 렌더링 부하: 매 프레임마다 처음부터 렌더링하는 대신, 미래 프레임을 미리 생성하고 캐싱하여 효율성을 높이고자 합니다.
  2. 현실과의 불일치 (Drift): 생성형 모델은 동적 환경에서 현실과 점차 어긋날 수 있으며, 특히 AR 에서 이러한 불일치는 시각적 불일치나 안전 사고로 이어질 수 있습니다.
  3. 선택적 수정의 필요성: 단순히 현실의 관측값으로 대체하는 것은 증강된 콘텐츠 (예: 스타일 변경) 를 잃게 하므로, 안전에 중요한 영역 (도로, 차량, 보행자 등) 은 현실과 일치시키고, 나머지 영역은 의도된 증강 효과를 유지하는 '선택적 수정'이 필수적입니다.

2. 방법론 (Methodology)

SEGAR 은 두 단계로 구성된 파이프라인을 제안합니다.

1 단계: 생성형 스타일라이저 (Generative Stylizer)

• 목표: 입력된 현재 프레임 (조건) 을 기반으로 미래 프레임을 예측하면서, 특정 영역에 대한 시각적 편집 (예: 도쿄 거리 스타일) 을 적용합니다.
• 기반 모델: Vista(확산 기반 주행 세계 모델) 를 기반으로 합니다.
• 학습 방식:
  • 3 개의 연속된 실제 프레임이 조건으로 입력됩니다.
  • VACE(Wan2.1 기반) 를 활용하여 비안전적 정적 요소 (건물, 식생 등) 만을 특정 스타일로 인페인팅 (inpainting) 한 데이터를 타겟으로 생성합니다.
  • U-Net 의 공간적 인ductive bias 를 활용하여 명시적인 분할 마스크 없이도 어떤 영역을 편집하고 어떤 영역을 유지할지 학습합니다.
  • 동적 강화 (dynamics enhancement) 및 구조 보존 손실 (structure preservation loss) 을 사용하여 시간적 일관성을 확보합니다.

2 단계: 선택적 현실 보정 (Selective Reality Correction)

• 목표: 1 단계에서 생성된 미래 프레임 중 안전에 중요한 영역을 실제 관측값과 정렬하되, 나머지 영역의 증강 효과는 유지합니다.
• 입력: 실제 관측값 ($x$) 과 증강된 미래 프레임 ($x_{aug}$) 을 동시에 입력받습니다.
• 조건부 설계 (Conditioning Design):
  • VAE 경로: 실제 관측값 ($x$) 을 입력받아 공간적 앵커 (spatial anchor) 로 작용하게 하여, 중요한 영역의 현실 기반을 강력하게 강제합니다.
  • CLIP 경로: 증강된 프레임 ($x_{aug}$) 을 입력받아 전역적인 의미적 맥락 (scene identity, 구조) 을 증강된 목표 분포에 맞춥니다.
• 손실 함수 (Loss Function):
  • 공간적으로 가중된 재구성 손실을 사용합니다.
  • 안전 중요 마스크 ($m_{crit}$): 도로, 차량, 보행자 등 실제와 일치해야 하는 영역.
  • 증강 마스크 ($m_{aug}$): 스타일 편집이 유지되어야 하는 영역.
  • 버퍼 존 (Buffer Zone): 두 영역의 경계에서 발생하는 아티팩트를 줄이기 위해 생성된 영역에 손실을 적용하지 않아 모델이 사전 지식 (prior) 으로 자연스럽게 전환되도록 합니다.
• 구현: Stage 1 모델에 LoRA (Low-Rank Adaptation) 를 적용하여 경량화하며, 공간 주의력 (spatial attention) 레이어만 미세 조정합니다.

3. 주요 기여 (Key Contributions)

1. SEGAR 프레임워크 제안: 생성형 세계 모델과 선택적 보정 단계를 결합하여, 미래 프레임을 미리 생성/캐싱하면서도 실시간 현실 피드백을 통해 안전 영역을 보정하는 새로운 AR 인프라 아키텍처를 제시했습니다.
2. 이중 조건부 생성 메커니즘: 실제 관측값 (공간적 정합성) 과 증강된 프레임 (의도된 스타일) 을 분리된 경로로 입력하여, 서로 다른 목표를 동시에 달성하는 효율적인 조건부 생성 방식을 고안했습니다.
3. 실시간성 및 효율성: 전체 비디오를 실시간으로 인페인팅하는 대신, 증강된 프레임을 미리 생성하고 보정 단계만 실시간으로 수행함으로써 메모리 및 연산 부하를 줄였습니다.
4. 안전과 창의성의 균형: 주행 시나리오를 통해 안전에 치명적인 영역 (차량, 보행자) 은 현실과 완벽히 일치시키면서도, 배경 (건물, 나무) 에는 자유로운 스타일 변형을 유지할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

• 정성적 평가: 보정된 프레임에서 차량, 보행자, 도로 표지판 등 안전 중요 영역은 실제 관측값과 정합성이 높게 유지되는 반면, 건물이나 나무 등은 의도된 스타일 (도쿄 스타일) 을 유지하는 것을 확인했습니다.
• 정량적 평가 (SSIM, LPIPS):
  • 안전 영역: 보정 후 실제 관측값 대비 SSIM 이 0.770 에서 0.943으로 크게 향상되었으며, LPIPS 도 감소하여 현실 정합성이 개선됨을 보였습니다.
  • 증강 영역: 보정된 프레임과 증강된 프레임 간의 SSIM 은 0.866, LPIPS 는 0.130으로 유지되어, 증강된 스타일 편집이 잘 보존되었음을 확인했습니다.
• 성능: 1 단계에서 생성된 프레임이 현실과 어긋나는 현상을 2 단계 보정을 통해 효과적으로 해결하면서도, 전체적인 증강 효과를 훼손하지 않았습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 생성형 세계 모델을 단순한 시뮬레이션을 넘어, 실제 AR 인프라로 활용하기 위한 실용적인 첫걸음을 제시했습니다. 미래 프레임을 예측하고 캐싱한 뒤, 필요 시 선택적으로 보정하는 방식은 지연 시간 (latency) 을 줄이고 AR 경험을 향상시킬 수 있는 중요한 방향성입니다.
• 한계:
  • 객체 단위 이해 부재: 현재는 영역 (region) 단위로 작동하여, 보정 영역과 증강 영역을 가로지르는 객체 (예: 트럭의 일부) 는 불일치하게 보정될 수 있습니다.
  • 경계 아티팩트: 두 영역 사이의 버퍼 존에서 시간적 일관성이 부족하여 프레임 간 깜빡임 (flickering) 이 발생할 수 있습니다.
  • 자기회귀적 적용 불가: 보정된 프레임을 다음 단계의 조건으로 재사용할 경우 분포 불일치 (distribution mismatch) 가 발생하여 연속적인 장기 예측이 어렵습니다.
  • 스타일 고정: 현재는 하나의 스타일 (도쿄) 로만 학습되어 있어, 다른 스타일을 적용하려면 재학습이 필요합니다.

결론적으로, SEGAR 은 생성형 AI 를 활용한 AR 시스템이 직면한 '현실성'과 '창의성' 사이의 균형을 해결하기 위한 유망한 접근법으로, 자율 주행 및 로봇 비전 등 다양한 분야로 확장 가능성이 있습니다.