Tokenizing Semantic Segmentation with RLE

이 논문은 언어 모델링을 활용하여 RLE(런 길이 부호화) 토큰 시퀀스로 이미지 및 비디오의 세그멘테이션 마스크를 생성하는 통합 접근법을 제시하며, 토큰화 전략을 통해 비디오 확장성을 높이고 팬옵틱 세그멘테이션도 지원함을 보여줍니다.

핵심

이 논문은 **"컴퓨터가 이미지를 보고 무엇을 그리는지 (분할) 를 어떻게 더 똑똑하게 배울 수 있을까?"**라는 질문에 대한 새로운 답을 제시합니다.

기존의 컴퓨터 비전 모델은 이미지를 마치 고정된 크기의 캔버스처럼 다루며, 각 픽셀에 숫자를 할당하는 방식으로 작동했습니다. 하지만 이 방식은 물체의 개수나 모양이 매번 달라지는 상황 (예: 물고기 한 마리, 열 마리, 혹은 한 마리도 없는 경우) 에는 비효율적이었습니다.

이 논문은 **"이미지 분할을 마치 '문장'을 만드는 것처럼 토큰 (단어) 의 나열로 바꾸자"**는 아이디어를 제안합니다.

🎨 핵심 비유: "점토 공예"에서 "레고 조립"으로

기존 방식은 점토 공예와 비슷합니다.

• 기존 방식: 거대한 점토 덩어리 (이미지) 를 전체를 다 덮어서 조각내듯 만듭니다. 모양이 복잡해지면 점토 조각이 너무 많아지고, 불필요한 부분까지 다 다듬어야 합니다.

이 논문의 방식은 레고 조립과 같습니다.

• 새로운 방식 (토큰화): 이미지의 모양을 "시작 지점"과 "길이"라는 작은 레고 블록 (토큰) 들의 나열로 표현합니다.
  • 예: "여기서부터 5 칸을 빨간색으로 칠해" → "여기서부터 3 칸을 파란색으로 칠해"
  • 이렇게 하면 불필요한 백색 공간 (배경) 은 말하지 않아도 되므로, 데이터가 훨씬 짧아지고 효율적이 됩니다.

---

🚀 이 논문이 해결한 3 가지 주요 문제

1. "긴 문장"을 "짧은 요약"으로 (RLE 와 압축)

이미지의 모양을 설명하려면 보통 수천 개의 토큰이 필요할 수 있습니다. 하지만 이 논문은 **RLE(런 길이 부호화)**라는 기술을 써서, "100 칸을 연속해서 칠해"라고 한 번에 말하게 했습니다.

• 비유: "A, A, A, A, A..."라고 100 번 반복해서 말하는 대신, **"A 를 100 번"**이라고 한 마디로 요약하는 것과 같습니다. 이렇게 하면 컴퓨터가 기억해야 할 정보량이 급격히 줄어듭니다.

2. "정지된 사진"에서 "움직이는 영상"으로 (비디오 처리)

이전 연구들은 정지된 사진만 다뤘지만, 이 논문은 **영상 (비디오)**도 다룰 수 있게 확장했습니다.

• 문제: 영상은 프레임이 계속 변하므로, 매 프레임마다 모양을 다시 설명하면 토큰이 너무 길어집니다.
• 해결: **TAC(Time-As-Class)**라는 기술을 썼습니다.
  • 비유: 각 프레임의 모양을 따로따로 설명하는 대신, "시간의 흐름에 따라 변하는 모양" 자체를 하나의 새로운 단어로 정의했습니다. 마치 "아침에 컵이 있고, 오후에 컵이 사라졌다"는 것을 하나의 이야기 흐름으로 이해하는 것처럼요.

3. "무엇인가"와 "어디에"를 구분하기 (인스턴스 분할)

단순히 "사람"이라고만 말하는 게 아니라, "사람 A"와 "사람 B"를 구분해서 설명할 수도 있게 했습니다.

• 비유: "사람"이라는 단어 뒤에 번호를 붙여서 "사람 #1, 사람 #2"라고 구분하는 방식입니다. 이렇게 하면 여러 물체가 겹쳐 있더라도 각각을 정확히 찾아낼 수 있습니다.

---

📊 결과: 얼마나 잘할까요?

연구진은 이 방식을 **얼음 조각 (River Ice)**과 **세포 (iPSC)**를 분석하는 데이터셋에 적용해 보았습니다.

• 결과: 최신의 거대 모델들과 비교해도 비슷하거나 더 좋은 성능을 보여주었습니다.
• 한계: 아직 컴퓨터의 메모리 (GPU) 가 부족해서 아주 고해상도의 복잡한 이미지 (예: 도시 전체의 지도) 를 다룰 때는 완벽하지는 않았습니다. 하지만 "작은 메모리에서도 잘 작동하는 효율적인 방법"을 증명했습니다.

💡 결론: 왜 이 연구가 중요할까요?

이 논문은 **"컴퓨터 비전도 언어 모델 (LLM) 처럼 생각하면 더 똑똑해질 수 있다"**는 것을 보여줍니다.

• 이미지를 픽셀의 집합이 아니라, 의미 있는 단어들의 나열로 바라봄으로써, 컴퓨터는 더 적은 계산량으로도 더 복잡한 세상을 이해할 수 있게 됩니다.
• 이는 향후 의료 영상 분석, 자율주행, 로봇 제어 등 다양한 분야에서 더 빠르고 정확한 AI 를 만드는 데 큰 발판이 될 것입니다.

한 줄 요약:

"이미지를 거대한 그림으로 보지 말고, 작은 레고 블록 (토큰) 으로 된 설명서로 바꿔서 컴퓨터가 더 쉽고 빠르게 이해하게 만들었습니다."

기술 요약

1. 문제 제기 (Problem)

기존의 컴퓨터 비전 모델은 일반적으로 연속적인 값 (continuous-valued) 과 고정된 크기의 출력을 생성합니다. 이는 객체 감지나 다중 객체 추적과 같이 본질적으로 희소하고 이산적인 (discrete) 특성을 가진 작업에는 적합하지 않을 수 있습니다. 또한, 기존 밀도 인식 (dense recognition) 작업인 시맨틱 세그먼테이션의 경우에도 토큰화 (tokenization) 를 통한 모델링이 가능하다는 연구가 있었으나, 다음과 같은 한계점이 존재했습니다:

• 비효율적인 표현: 기존 방법 (예: [3]) 은 확산 모델 (diffusion) 을 사용하여 원본 마스크를 직접 출력하거나, 이산 정수를 연속 부동 소수점 값으로 변환하여 토큰화의 이점을 반감시킵니다.
• 비디오 처리의 부재: 기존 연구는 비디오 세그먼테이션에 제한적으로 적용되었거나, 연속된 프레임 쌍에만 국한되었습니다.
• 계산 자원 제약: 고해상도 마스크나 긴 비디오 시퀀스를 처리할 때 토큰 시퀀스 길이가 급격히 증가하여 메모리 및 계산 비용이 기하급수적으로 늘어납니다.

2. 방법론 (Methodology)

이 논문은 **런 길이 부호화 (Run-Length Encoding, RLE)**를 사용하여 시맨틱 세그먼테이션 마스크를 이산 토큰 시퀀스로 변환하고, 이를 오토레그레이션 (autoregression) 방식으로 생성하는 언어 모델링 프레임워크를 제안합니다.

• RLE 기반 토큰화:
  • 마스크를 1 차원 벡터로 평탄화 (flattening) 한 후, 연속된 픽셀 값의 구간 (run) 을 (시작 위치, 길이) 쌍으로 표현합니다.
  • 다중 클래스의 경우 (시작 위치, 길이, 클래스 ID)의 3 토큰으로 표현되지만, 이를 최적화합니다.
• 토큰 압축 전략 (Key Techniques):
  • Lengths-As-Class (LAC): 정적 이미지에서 길이와 클래스 정보를 하나의 복합 토큰으로 결합하여 시퀀스 길이를 줄입니다.
  • Time-As-Class (TAC): 비디오 세그먼테이션에서 시간 축 (프레임) 을 클래스 ID 와 결합하여 토큰화합니다. 이는 3D 마스크를 2D 마스크로 축소하여 시작 위치 토큰의 수를 프레임 수에 비례하지 않게 만듭니다.
  • Length-and-Time-As-Class (LTAC): 길이와 시간을 동시에 클래스로 간주하여 더 강력한 압축을 시도합니다.
  • 슬라이딩 윈도우 (Sliding Windows): 고해상도 이미지의 경우 전체 이미지를 한 번에 처리하는 대신, 작은 패치 (patch) 단위로 슬라이딩 윈도우를 적용하여 RLE 시퀀스 길이를 관리 가능한 수준으로 유지합니다.
• 아키텍처:
  • Pix2Seq [1] 프레임워크를 기반으로 수정된 오토레그레이션 모델을 사용하며, 사전 학습된 가중치를 최대한 활용하기 위해 백본 (ResNet-50) 을 고정하거나 미세 조정합니다.
  • 인스턴스 세그먼테이션 및 팬옵틱 세그먼테이션을 위해 인스턴스 정보를 RLE 시퀀스에 통합하는 Instance-Wise (IW) 토큰화 방식을 제안합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 세그먼테이션 접근법: RLE 를 사용하여 마스크를 토큰화하고 언어 모델링을 통해 생성하는 새로운 통합 프레임워크를 제시했습니다.
2. 비디오 확장: RLE 표현을 정적 이미지를 넘어 비디오 시퀀스로 확장하여, TAC 및 LTAC 방식을 통해 다중 프레임 처리를 가능하게 했습니다.
3. 효율적인 압축 기법: Lengths-As-Class (정적) 와 Time-As-Class (비디오) 와 같은 새로운 토큰화 전략을 제안하여 시퀀스 길이를 크게 단축하고 고해상도/다중 클래스 처리를 가능하게 했습니다.
4. 팬옵틱 세그먼테이션: RLE 시퀀스에 인스턴스 정보를 통합하여 시맨틱 및 인스턴스 세그먼테이션을 동시에 수행하는 방법을 제안했습니다.
5. 오픈 소스: 코드와 학습된 모델을 공개하여 후속 연구를 촉진했습니다.

4. 실험 결과 (Results)

논문은 ARIS (강 얼음 분할) 및 IPSC (줄기세포 재프로그래밍) 데이터셋을 사용하여 모델을 평가했습니다.

• 성능 비교:
  • ARIS 데이터셋: 제안된 모델 (P2S-SEG) 은 기존 CNN 기반 모델 (Deeplab, UNet 등) 과 비교하여 recall(재현율) 측면에서 매우 경쟁력 있는 성능을 보였으며, 특히 클래스 무관 (class-agnostic) 인 작업 (얼음 + 물) 에서 우수한 성능을 발휘했습니다.
  • IPSC 데이터셋: 최신 트랜스포머 기반 모델 (Swin Transformer) 과 비교했을 때 전반적으로 유사한 성능을 보였으나, 클래스 불균형 (불균형한 클래스 분포) 에 다소 취약한 경향이 있었습니다.
  • 비디오 vs 정적: 비디오 입력을 사용한 모델 (P2S-VIDSEG) 이 정적 입력 모델보다 일관된 성능 향상을 보이지는 않았으나, 긴 시퀀스 (N=8) 에서도 정적 모델이 비디오 정보를 효과적으로 활용하지 못함을 시사했습니다.
• 한계점:
  • 하드웨어 제약 (RTX 3090, 24GB RAM) 으로 인해 배치 크기와 시퀀스 길이에 제한이 있어, 대규모 데이터셋 (COCO, Cityscapes) 에서는 성능이 저하되었습니다.
  • 고해상도 마스크 (S > 160) 를 처리할 때 메모리 부족으로 인해 학습이 어려웠습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 컴퓨터 비전 작업을 언어 모델링 (Language Modeling) 의 관점에서 접근하여, 연속적인 값 대신 이산 토큰 시퀀스로 세그먼테이션을 수행하는 새로운 가능성을 입증했습니다.
• 효율성: RLE 기반의 압축 전략을 통해 고해상도 및 비디오 세그먼테이션을 위한 토큰 시퀀스 길이를 현실적인 수준으로 줄였습니다.
• 미래 전망: 현재 하드웨어 제약으로 인해 대규모 데이터셋에서의 성능은 아직 완벽하지 않지만, 더 강력한 하드웨어와 개선된 인코딩 기법 (예: 백그라운드-as-클래스, 다중 헤드 디코더) 을 통해 향후 성능을 크게 향상시킬 수 있는 잠재력을 가지고 있습니다.
• 의료 및 특수 분야 적용: 의료 영상 (세포 분할 등) 과 같이 특정 도메인 요구사항이 있는 분야에서 토큰화 기반 접근법이 기존 일반 목적 모델보다 더 효과적일 수 있음을 시사합니다.

이 논문은 비전 작업의 토큰화 (Tokenization) 가 희소 (객체 감지) 와 밀집 (세그먼테이션) 작업 모두에 적용 가능함을 보여주며, 언어 모델링 기반의 범용 비전 프레임워크 발전에 중요한 기여를 했습니다.