기술 요약: I-Segmenter: 효율적인 시맨틱 세그멘테이션을 위한 정수 전용 비전 트랜스포머(Integer-Only Vision Transformer)

문제 정의

비전 트랜스포머(ViTs)는 시맨틱 세그멘테이션 분야에서 최첨단 성능을 달rem성했으나, 높은 메모리 점유율과 계산 비용으로 인해 자원이 제한된 에지 장치(edge devices)에 배포하는 데 있어 상당한 장벽에 부딪히고 있습니다. 양자화(Quantization)는 효율성을 높이는 경로를 제공하지만, ViT 기반의 세그멘테이션 모델은 저정밀도 제약 조건 하에서 매우 취약한 것으로 알려져 있습니다. 이미지 분류와 달리, 시맨틱 세그멘테이션은 조밀한 픽셀 수준의 예측을 요구하며, 이로 인해 딥 인코더-디코더 파이프라인 전반에 걸쳐 양자화 오차가 누적됩니다.

구체적인 과제는 다음과 같습니다:

• 비선형 민감도: Softmax 및 GELU와 같은 연산은 정밀도 손실에 매우 민감합니다. 로짓(logits)의 작은 오차는 어텐션 가중치(attention weights)의 큰 변화를 유발할 수 있으며, GELU의 롱테일 활성화 분포는 균등 양자화(uniform quantization)에 의해 제대로 처리되지 않습니다.
• 디코더 복잡성: 다중 스케일 집합(multi-scale aggregation) 및 보간(interpolation, 예: bilinear upsampling)을 포함하는 디코더 헤드의 추가는 백본으로부터 전파되는 오차를 더욱 증폭시킵니다.
• 연산자 이질성: ViT는 다양한 분포 형태를 가진 다양한 연산자(Linear, MatMul, LayerNorm, GELU, Softmax)를 포함하고 있어, 통일된 정수 전용 전략을 수립하기 어렵습니다.
• 기존의 한계: 기존 양자화 방법들은 중요한 연산자를 위해 혼합 정밀도 폴백(FP32)에 의존하거나, 최소한의 캘리브레이션 데이터가 있는 PTQ(Post-Training Quantization) 환경에서 정확도를 유지하는 데 실패하는 경우가 많습니다.

방법론

저자들은 최초의 완전 정수 전용(integer-only) ViT 세그멘테이션 프레임워크인 I-Segmenter를 소개합니다. Segmenter 아키텍처를 기반으로 구축된 이 방법은 모든 부동 소수점(FP32) 연산을 정수 전용 대응 연산으로 체계적으로 교체하여 엔드 투 엔드 정수 실행을 가능하게 합니다.

1. 핵심 양자화 프레임워크

• 대칭 균등 양자화(Symmetric Uniform Quantization): 모든 파라미터(가중치, 바이어스, 임베딩)와 활성화 함수는 대칭 균등 양자화를 사용하여 양자화됩니다.
• 다이아딕 산술(Dyadic Arithmetic): 스케일링 인자를 정수와 2의 거듭제곱의 비율($S \approx b/2^c$)로 근사하여, 스케일링 연산이 부동 소수점 나눗셈 없이 정수 곱셈과 비트 시프팅을 통해 구현되도록 합니다.
• 정밀도 관리:
  • 선형 레이어(Linear layers)는 INT8 가중치와 바이어스를 사용하며, 곱셈 결과는 INT32에서 누적됩니다.
  • 잔차 연결(Residual connections)은 신호 충실도를 유지하기 위해 INT16 정밀도를 유지합니다.
  • 가장 민감한 연산인 Shiftmax(정수 Softmax)는 INT16에서 실행됩니다.

2. 새로운 활성화 함수: $\lambda$-ShiftGELU

저자들은 표준 정수 근사 GELU(예: ShiftGELU)가 특히 음수 값과 이상치(outliers)에 대해 상당한 오차를 유발한다는 점을 확인했습니다. 이에 따라 다음을 수행하는 수정된 활성화 함수인 $\lambda$-ShiftGELU를 제안합니다:

• 지수 근사 과정 중 입력 분포의 하한을 완화하기 위해 튜너블 스칼라 파라미터 $\lambda$를 도입합니다.
• 기존 방식에서 발견된 정보가 풍부한 음수 값을 과도하게 제한(clamping)하는 문제를 방지합니다.
• 최적화된 파라미터($\lambda=6, k_{inter}=23$)는 정밀도와 계산 효율성의 균형을 맞추며, 베이스라인인 ShiftGELU에 비해 RMSE(평균 제곱근 오차)를 크게 감소시킵니다.

3. 정수 전용 실행을 위한 아키텍처 적응

전체 계산 그래프가 엄격하게 정수 전용으로 유지되도록 하기 위해 저자들은 Segmenter 디코더를 수정했습니다:

• L2 정규화 제거: 복잡한 비선형 근사가 필요한 L2 정규화 레이어를 제거했습니다. 분포를 매끄럽게 만드는 이 기능은 투영된 행렬(projected matrices)의 대칭 균등 양자화로 대체되었습니다.
• 최근접 이웃 업샘플링(Nearest-Neighbor Upsampling): 부동 소수점 산술에 의존하는 쌍선형 보간(Bilinear interpolation)을 최근접 이웃 업샘플링으로 교체했습니다. 이는 약간의 이산화 아티팩트(discretization artifacts)를 유발할 수 있지만, 엄격한 정수 호환성을 보장합니다.
• 임베딩 양자화: 이전 연구들과 달리, I-Segmenter는 클래스 및 위치 임베딩을 양자화하여 모델 저장 및 실행 과정에서 부동 소수점 데이터가 남지 않도록 합니다.

주요 기여

1. I-Segmenter 프레임워크: 정수 연산에 최적화된 하드웨어(예: ARM Cortex-M, Google Edge TPU)에 배포 가능한 최초의 엔드 투 엔드 정수 전용 ViT 세그멘테이션 프레임워크입니다.
2. $\lambda$-ShiftGELU: 롱테일 분포에 대한 균등 양자화의 한계를 완화하여 양자화 인식 훈련(QAT)과 사후 훈련 양자화(PTQ)를 모두 안정화하는 새로운 활성화 함수입니다.
3. 체계적인 아키텍처 재설계: 혼합 정밀도 폴백 없이 진정한 정수 전용 추론을 달성하기 위해 ViT 구성 요소(L2 Norm 제거, 쌍선형 보간 교체)를 포괄적으로 적응시켰습니다.
4. 원샷(One-Shot) PTQ 능력: 프레임워크가 단 하나의 캘리브레이션 이미지만으로도 경쟁력 있는 정확도를 달성함을 입증하여, 배포 비용을 획기적으로 줄였습니다.

실험 결과

ADE20K 및 Cityscapes 데이터셋에서 ViT-Tiny, Small, Base, Large 백본을 사용하여 실험을 진행했습니다.

• 정확도:
  • PTQ: $\lambda$-ShiftGELU를 사용하면 I-Segmenter는 FP32 베이스라인과 합리적인 차이 내의 정확도를 달성합니다(평균 하락 폭 약 5.1%). 특히, 원샷 PTQ($S=1$)는 500개의 캘리브레이션 샘플을 사용한 것과 유사한 결과를 냅니다.
  • QAT: 정확도 격차를 더욱 좁혀, ADE20K에서 mIoU 하락 폭이 3.5를 넘지 않습니다.
  • 비교: $\lambda$-ShiftGELU는 PTQ 조건에서 무너지는 베이스라인 ShiftGELU보다 성능이 월등히 뛰어납니다.
• 효율성:
  • 모델 크기: FP32 모델 대비 최대 3.8배 감소했습니다.
  • 추론 속도: 최적화된 런타임(TensorRT, TVM)에서 추론 속도가 최대 1.2배 빨라졌습니다.
  • 메모리 트래픽: 주요 연산에 대해 읽고 쓰는 총 비트 수가 2.3배~3.3배 감소했습니다.
• 배포:
  • TVM 백엔드: 커널 계산까지 엄격한 정수 전용 실행을 강제하는 유일한 백엔드입니다. TVM 컴파일 과정에서 번역 뉘앙스로 인해 1~2 mIoU의 미세한 하락이 발생했으나, 모델은 여전히 경쟁력을 유지했습니다.
  • 캘리브레이션 비용: PTQ 캘리브레이션은 원샷 설정 시 약 1초가 소요되며, 이는 QAT에 소요되는 몇 시간과 대조됩니다.

의의 및 주장

본 논문은 I-Segmenter가 자원이 제한된 에지 장치에 비전 트랜스포머를 실용적으로 배포하기 위한 결정적인 단계임을 주장합니다. 정밀한 아키텍처 적응(특히 $\lambda$-ShiftGELU 및 부동 소수점 의존 레이어 제거)을 통해 ViT의 고유한 취약성인 저비트 양자화 문제를 극복할 수 있음을 입증함으로써, 완전한 정수 전용 추론이 치명적인 정확도 손실 없이 밀집 예측(dense prediction) 작업에 가능하다는 것을 보여주었습니다.

저자들은 다음과 같은 측면에서 이 접근 방식이 특히 중요하다고 강조합니다:

• 실제 배포: 복잡한 혼합 정밀도 하드웨어 지원 없이도 제약이 많은 하드웨어(NPU, 마이크로컨트롤러)에 배포할 수 있습니다.
• 효율성: 모델 크기와 메모리 대역폭 요구 사항을 획기적으로 줄입니다.
• 강건성: 저정밀도 양자화 하에서의 ViT의 본질적인 취약성을 정교한 아키텍처 적응을 통해 극복할 수 있음을 입증했습니다.

결론적으로, 남은 정확도 격차를 메우기 위해 정수 전용 업샘플링 및 정규화 근사법에 대한 추가 연구가 필요하지만, I-Segmenter는 정수 전용 배포의 잠재력을 성공적으로 열어주었습니다.