1. 문제 정의 (Problem Statement)

최근 객체 중심 (Object-centric) 피드포워드 3D 재구성 모델들은 최적화 기반 (Optimization-based) 방법들에 비해 재구성 시간을 획기적으로 단축하면서도 견고한 성능을 보여주고 있습니다. 그러나 여전히 밀집된 뷰 (Dense-view) 최적화 방법에 비해 미세한 질감 (Texture) 과 외관 (Appearance) 을 복원하는 데 한계가 있었습니다.

• 주요 한계점: 재구성된 텍스처가 흐릿하거나, 텍스트가 읽히지 않거나, 로고가 번지며, 얼굴 특징이 왜곡되는 등의 문제가 발생했습니다.
• 기존 해결책의 부족: 3D 표현을 변경하거나 사후 텍스처 정제를 추가하는 시도들은 일부 개선을 가져왔지만, 여전히 밀집 뷰 최적화 수준의 충실도 (Fidelity) 에 미치지 못했습니다.
• 가설: 이 격차를 좁히는 핵심은 활성화된 객체 토큰과 이미지 토큰의 수를 대폭 늘려 컨텍스트 윈도우를 확장하는 것입니다. 하지만 단순히 해상도를 높이는 것은 GPU 메모리와 연산량이 2 차 (또는 3 차) 로 급증하여 비현실적입니다.

2. 방법론 (Methodology)

LSRM 은 하드웨어 친화적인 **네이티브 스패스 어텐션 (Native Sparse Attention, NSA)**을 기반으로 하여, 대규모 컨텍스트 윈도우를 효율적으로 처리하는 아키텍처를 설계했습니다.

2.1. 전체 아키텍처: 2 단계 코arse-to-Fine 파이프라인

LSRM 은 저해상도에서 고해상도로 점진적으로 정제하는 2 단계 방식을 사용합니다.

1. Stage 1 (Dense Reconstruction Transformer):
   • 저해상도 (Low-resolution) 에서 밀집된 3D 볼륨을 재구성합니다.
   • 이 단계는 Stage 2 를 위한 초기 가중치와 기하학적 구조 (Geometric Prior) 를 제공합니다.
   • 입력: 12~18 개의 이미지 (Plücker rays 포함) 및 DINOv3 특징.
2. Stage 2 (Sparse Reconstruction Transformer):
   • Stage 1 의 결과를 기반으로 **고해상도 스패스 볼륨 잔차 (Residuals)**를 예측하여 최종 3D 표현을 완성합니다.
   • 핵심 전략: 처음부터 고해상도 볼륨을 예측하는 것이 아니라, 저해상도 예측치에 잔차를 더하는 방식으로 학습 효율성을 극대화합니다.

2.2. 핵심 기술적 기여 (Key Contributions)

LSRM 이 대규모 컨텍스트 윈도우를 가능하게 한 3 가지 주요 기여는 다음과 같습니다.

1. 효율적인 코arse-to-Fine 파이프라인:

   • 정보 있는 영역 집중: Stage 1 의 기하학적 정보를 활용하여 물체 표면 근처의 볼륨 토큰과 전경 (Foreground) 픽셀을 포함하는 이미지 토큰만 선택합니다.
   • 배경 제거: 불필요한 배경 토큰을 제거하여 연산량을 줄이고 중요한 정보에 집중합니다.

2. 3D 인지 공간 라우팅 (3D-Aware Spatial Routing):

   • 문제: 기존 NSA 는 압축된 토큰의 어텐션 점수 (Attention Scores) 만을 기반으로 블록을 선택하는데, 이는 초기 레이어에서 2D-3D 대응 관계를 잘못 파악할 수 있습니다.
   • 해결: Stage 1 에서 얻은 명시적인 기하학적 거리 (Geometric Distances) 와 카메라 파라미터를 사용하여, 쿼리 토큰과 가장 가까운 3D 공간의 블록을 직접 선택합니다.
   • 효과: 흐릿했던 미세한 텍스트와 구조가 선명하게 복원됩니다.

3. 블록 인지 시퀀스 병렬화 (Block-Aware Sequence Parallelism):

   • 문제: 스패스 토큰 분포는 GPU 간 작업 부하 불균형 (Straggler 문제) 을 유발하여 학습 속도를 저하시킵니다.
   • 해결:
     • 공간 블록 유지: 토큰을 공간적 블록 (Spatial Blocks) 단위로 쉐이딩하여, 같은 블록 내 토큰은 같은 GPU 에 머무르게 합니다. 이를 통해 로컬 어텐션 시 GPU 간 통신을 제거합니다.
     • All-gather-KV 프로토콜: Grouped-Query Attention (GQA) 의 높은 KV 압축률을 활용하여, 경량화된 KV 캐시를 모든 GPU 에 브로드캐스트합니다. 이를 통해 최소한의 통신 오버헤드로 전역 컨텍스트 (Global Context) 를 확보합니다.

3. 주요 결과 (Results)

LSRM 은 기존 최첨단 (SOTA) 방법들보다 훨씬 많은 토큰을 처리하며, 다양한 벤치마크에서 뛰어난 성능을 입증했습니다.

• 스케일링 능력:
  • 이전 SOTA 대비 객체 토큰 20 배, 이미지 토큰 2 배 이상 더 많은 토큰을 처리합니다.
  • GSO 데이터셋에서 PSNR 2.4dB 이상 향상 및 LPIPS 40% 이상 감소를 기록했습니다.
• 질적 개선 (Qualitative Improvements):
  • 텍스처: 흐릿했던 텍스트가 선명하게 읽히고, 복잡한 기하학적 구조와 얼굴 특징이 왜곡 없이 복원됩니다.
  • 역 렌더링 (Inverse Rendering): StanfordORB 등 다양한 데이터셋에서 재조명 (Relighting) 시 질감과 기하학적 디테일이 개선되었으며, LPIPS 점수가 밀집 뷰 최적화 방법과 대등하거나 더 나은 수준을 달성했습니다.
• 일반화 능력:
  • 12~16 개의 입력 이미지로 학습되었음에도, 8 개 또는 6 개의 입력 이미지에서도 LIRM(기존 SOTA) 보다 우수한 성능을 보이며 잘 일반화되는 것을 확인했습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: LSRM 은 "더 많은 토큰 = 더 좋은 품질"이라는 가설을 증명하며, 하드웨어 제약을 우회하는 효율적인 스패스 어텐션 기법을 통해 피드포워드 3D 재구성의 한계를 돌파했습니다.
• 산업적 적용 가능성: 재구성 속도는 유지하면서 최적화 기반 방법과 유사한 고품질을 달성함으로써, 산업 규모의 디지털 트윈 (Digital Twin) 생성 및 실시간 3D 콘텐츠 제작에 실용적인 솔루션을 제공합니다.
• 미래 전망: 이 프레임워크는 대규모 장면 재구성 (Scene Reconstruction) 및 일반 비디오/이미지 생성으로 확장될 수 있는 잠재력을 가지고 있습니다.

요약하자면, LSRM은 확장된 컨텍스트 윈도우와 스패스 어텐션, 그리고 3D 인지 라우팅 기술을 결합하여, 기존 피드포워드 모델이 가지던 텍스처와 기하학적 정밀도의 한계를 극복하고, 최적화 기반 방법과 견줄 만한 고품질 3D 재구성을 단일 순전파 (Single Feed-forward Pass) 로 가능하게 한 획기적인 연구입니다.