PicoSAM3: Real-Time In-Sensor Region-of-Interest Segmentation

이 논문은 Sony IMX500 비전 센서와 같은 엣지 및 센서 내 환경에서 실시간으로 실행 가능하도록 최적화된 경량화 프롬프트 기반 분할 모델 'PicoSAM3'를 제안하며, SAM2 및 SAM3 에서의 지식 증류와 INT8 양자화를 통해 높은 정확도와 낮은 지연 시간을 동시에 달성함을 보여줍니다.

핵심

📸 초소형 카메라 속의 '마법사': PicoSAM3 이야기

이 논문은 **"작은 카메라 안에 거대한 인공지능을 어떻게 넣을 것인가?"**라는 질문에 대한 놀라운 해답을 제시합니다.

기존의 인공지능 (AI) 은 거대한 데이터 센터나 강력한 컴퓨터에서만 작동했습니다. 하지만 이 논문은 스마트 안경이나 사물인터넷 (IoT) 기기처럼 배터리가 작고 성능이 제한된 작은 카메라 자체에서 실시간으로 물체를 인식하고 잘라내는 (세그멘테이션) 기술을 개발했습니다.

이 기술을 PicoSAM3라고 부르는데, 마치 **"거대한 도서관의 지식을 작은 주머니에 담아낸 마법"**과 같습니다.

---

1. 문제 상황: 거대한 코끼리를 작은 방에 넣으려다

기존의 최신 AI 모델 (SAM 시리즈) 은 매우 똑똑하지만, 몸집이 너무 큽니다.

• 비유: 마치 거대한 코끼리를 작은 원룸에 넣으려 하는 것과 같습니다.
• 문제: 코끼리 (AI 모델) 가 들어갈 공간 (메모리) 이 부족하고, 움직일 때 전기를 너무 많이 먹어 배터리가 금방 닳아버립니다. 또한, 코끼리가 움직이려면 시간이 오래 걸려서 실시간으로 반응하기 어렵습니다.

2. 해결책: PicoSAM3 의 등장

연구팀은 이 문제를 해결하기 위해 세 가지 마법을 사용했습니다.

🪄 마법 1: "가장 중요한 것만 보는 눈" (ROI 기반 학습)

기존 AI 는 화면 전체를 꼼꼼히 살피느라 에너지를 많이 썼습니다. 하지만 PicoSAM3 는 사용자가 관심 있는 부분 (예: 화면 중앙의 고양이) 만 잘라내어 그 부분만 집중적으로 봅니다.

• 비유: 전체 책을 다 읽지 않고, 관심 있는 장면을 오려내어 그 부분만 집중적으로 공부하는 것과 같습니다. 이렇게 하면 AI 가 처리해야 할 정보가 줄어든 덕분에 훨씬 빨라지고 작아집니다.

🪄 마법 2: "거인 스승에게 배우기" (지식 증류)

작은 AI (학생) 가 처음부터 모든 것을 배우려면 시간이 너무 걸립니다. 그래서 연구팀은 **거대한 AI (SAM3, 거인 스승)**에게서 지식을 배워 작은 AI 에게 전달했습니다.

• 비유: **천재 수학 선생님 (거인 AI)**이 복잡한 공식을 가르치지 않고, 핵심적인 해답만 **요약된 노트 (작은 AI)**에 적어주는 것입니다. 학생은 거인의 지식을 그대로 받아서 똑똑해지지만, 몸집은 작게 유지합니다.
• 결과: 이 방법으로 작은 AI 는 거인 AI 보다 훨씬 작은 크기로 더 높은 정확도를 달성했습니다.

🪄 마법 3: "압축된 언어로 말하기" (양자화)

AI 가 사용하는 숫자를 정밀한 32 비트 (고해상도 사진) 에서 8 비트 (간단한 스케치) 로 줄였습니다.

• 비유: 고해상도 4K 영상을 용량이 작은 GIF 파일로 변환하되, 화질은 거의 떨어지지 않게 만드는 기술입니다.
• 효과: AI 모델의 크기가 4 배나 줄어든 것 (약 1.3MB) 이지만, 성능은 거의 그대로 유지됩니다.

---

3. 실제 성과: Sony IMX500 카메라에서 작동

이 기술은 Sony 의 IMX500이라는 특수 카메라 칩에 실제로 탑재되었습니다.

• 속도: 물체가 움직일 때, 카메라가 0.01 초 (11.82ms) 만에 물체를 인식하고 잘라냅니다. 이는 사람이 깜빡이는 속도보다 훨씬 빠릅니다.
• 장점: 데이터를 인터넷 (클라우드) 으로 보내지 않아도 되므로, 개인정보 보호가 완벽하고, 인터넷이 없어도 작동하며, 전기도 거의 쓰지 않습니다.

4. 왜 이것이 중요한가요?

이 기술은 미래의 스마트 안경, 로봇, 자율주행 드론 등에 혁신을 가져올 것입니다.

• 예시: 당신이 스마트 안경을 쓰고 산책을 할 때, 안경이 당신이 바라보는 나무나 길고양이를 실시간으로 인식하고, 그 정보를 안경 렌즈에 표시해 줄 수 있습니다. 이때 인터넷 연결이 필요 없으며, 배터리도 하루 종일 버팁니다.

📝 한 줄 요약

**"거대한 AI 의 지능을 작은 카메라 칩 안에 압축하여, 배터리도 적게 쓰고 인터넷도 없이 실시간으로 물체를 인식하게 만든 획기적인 기술"**입니다.

이처럼 PicoSAM3 는 "작지만 강한" 인공지능의 새로운 시대를 열었습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 기존 SAM 모델의 한계: Meta 의 Segment Anything Model (SAM) 및 그 후속작 (SAM 2, SAM 3) 은 프롬프트 기반 시각 이해 분야에서 혁신을 이루었으나, Transformer 아키텍처의 높은 메모리Footprint 와 계산 복잡도로 인해 배터리 구동 스마트 글래스나 IoT 기기 같은 극단적인 엣지 (Edge) 환경에서는 실시간 실행이 불가능합니다.
• In-Sensor 컴퓨팅의 제약: Sony IMX500 과 같은 지능형 센서는 온칩 SRAM 이 8MB 미만으로 제한되어 있으며, 비선형 활성화 함수 등 특정 연산자를 지원하지 않습니다. 기존 경량화 모델 (TinySAM, EdgeSAM 등) 도 이러한 엄격한 메모리 및 연산자 제약을 충족하지 못해 센서 내부에서 직접 실행 (In-sensor execution) 하기 어렵습니다.
• 프롬프트 처리의 비효율: 기존 접근법은 명시적인 프롬프트 (점, 박스 좌표 등) 를 입력으로 추가해야 하므로, 센서의 제한된 입력 대역폭과 처리 능력을 추가로 소모하게 됩니다.

2. 제안 방법론 (Methodology)

저자들은 PicoSAM3이라는 초경량 프롬프트 가능 분할 모델을 제안하며, 다음과 같은 핵심 기술들을 적용했습니다.

가. 암시적 프롬프트 인코딩 (Implicit Prompt Encoding via Centered Cropping)

• 문제 해결: IMX500 은 RGB 입력만 지원하므로 점이나 박스 좌표 같은 명시적 프롬프트 채널을 추가할 수 없습니다.
• 해결책: 학습 시 객체의 바운딩 박스를 중심으로 10% 패딩을 포함한 정사각형 영역을 **자름 (Cropping)**하여 입력으로 사용합니다.
  • 이 방식은 객체가 입력 이미지의 중앙에 위치하도록 하여, 네트워크가 프롬프트 채널 없이도 "중앙의 객체"를 분할하도록 학습시킵니다.
  • 추론 시에는 센서의 하드웨어 ROI(Region of Interest) 기능을 활용하여 사용자가 지정한 영역을 자르고 모델에 입력함으로써, 추가적인 프롬프트 처리 오버헤드를 제거합니다.

나. 하드웨어 인식 아키텍처 (Hardware-Aware Architecture)

• Transformer 제거: 무거운 Transformer 블록을 완전히 제거하고, 밀집 CNN(Dense CNN) 아키텍처를 채택했습니다.
• 구조적 개선:
  • Dilated Bottleneck: 수용 영역 (Receptive Field) 을 확장하기 위해 확장 컨볼루션 (Dilation=2) 을 적용.
  • Efficient Channel Attention (ECA): 특징 재보정을 위한 경량 어텐션 블록 추가.
  • Refinement Head: 경계선 정밀도를 높이기 위한 깊이별 컨볼루션 (Depthwise Convolution) 헤더 추가.
• 파라미터 수: 약 137 만 개 (1.37M) 로, INT8 양자화 시 약 1.31MB 크기로 축소됩니다.

다. 지식 증류 (Knowledge Distillation)

• Teacher-Student 학습: 거대한 SAM2 및 SAM3 모델을 Teacher 로, PicoSAM3 를 Student 로 설정하여 학습합니다.
• Two-Stage Pipeline:
  1. Teacher 모델로 COCO 데이터셋의 모든 주석에 대한 소프트 마스크 (Soft Mask) 를 미리 생성하여 캐시합니다.
  2. Student 모델은 잘라낸 RGB 이미지만 입력받아 Teacher 의 예측과 Ground Truth 를 동시에 학습합니다.
• 손실 함수: Teacher 의 소프트 예측 (MSE + Dice Loss), Ground Truth (BCE + Dice Loss), 그리고 예측 마스크의 면적이 너무 작아지는 것을 방지하는 Area Preservation Loss를 결합하여 학습합니다.

라. 양자화 및 배포 (Quantization & Deployment)

• INT8 양자화: Sony 의 Model Compression Toolkit (MCT) 을 사용하여 모델 크기를 4 배 축소 (5.26MB → 1.31MB) 하되, 정확도 손실을 최소화합니다.
• Sony IMX500 배포: 양자화된 모델을 센서 내부의 DSP 에서 실행하며, 하드웨어 ROI 기능을 통해 실시간 분할을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 초경량 하드웨어 인식 아키텍처: 1.3~1.4M 파라미터 규모로 설계되어 IMX500 의 8MB 메모리 제한과 연산자 제약을 완벽하게 준수하며, INT8 양자화로 1.31MB 크기를 달성했습니다.
2. 새로운 프롬프트 전략: 제한된 입력 채널 환경에서 작동하는 ROI 기반 암시적 프롬프트를 도입하여, 센서의 하드웨어 ROI 기능과 자연스럽게 연동되도록 설계했습니다.
3. SAM3 기반 지식 증류: SAM3 의 강력한 표현력을 경량 모델로 이전하여, 기존 엣지 기반 모델들을 압도하는 성능을 달성했습니다.
4. 실시간 In-Sensor 실행 증명: Sony IMX500 센서에서 **11.82ms 의 지연 시간 (Latency)**으로 실시간 분할을 구현하여, 클라우드 오프로딩 없이 센서 단에서 고품질 분할이 가능함을 입증했습니다.

4. 실험 결과 (Results)

• 성능 (Accuracy):
  • COCO 데이터셋: mIoU 65.45% (기존 SAM-H 대비 +11.85%p, EdgeSAM 대비 +17.45%p).
  • LVIS 데이터셋: mIoU 64.01%.
  • 비교: SAM-H(635M 파라미터) 보다 460 배 이상 적은 파라미터로 더 높은 정확도를 기록했습니다.
• 양자화 영향: INT8 양자화 후 정확도 저하는 COCO 기준 0.11% (65.34%) 에 불과하여 거의 손실 없는 성능을 유지했습니다.
• 지연 시간 (Latency): Sony IMX500 에서 11.82ms의 엔드 - 투 - 엔드 지연 시간을 기록하여 약 84 FPS 의 실시간 처리가 가능함을 확인했습니다. (기존 Q-PicoSAM2 대비 17% 속도 향상).
• Ablation Study:
  • SAM3 증류는 Supervised 학습 대비 COCO 에서 최대 +14.5% mIoU 개선을 가져왔습니다.
  • ROI 기반 입력 전략은 공간적 집중력을 높여 저해상도 센서 환경에서 성능을 크게 향상시켰습니다.

5. 의의 및 결론 (Significance)

• 센서 레벨 AI 의 새로운 패러다임: PicoSAM3 는 고해상도 분할 모델이 거대한 GPU 없이도 센서 칩 내부에서 실시간으로 실행될 수 있음을 입증했습니다.
• 프라이버시 및 저지연: 데이터 전송 없이 로컬에서 처리되므로 대역폭 절감, 지연 시간 최소화, 그리고 사용자 프라이버시 보호가 가능합니다.
• 응용 분야: 스마트 글래스, 배터리 구동 IoT, 로봇, 증강현실 (AR) 기기 등 전력, 메모리, 지연 시간에 극도로 민감한 차세대 엣지 비전 시스템에 적용 가능한 실용적인 솔루션을 제시합니다.

이 논문은 거대 모델의 지식을 극도로 제한된 엣지 하드웨어에 효율적으로 주입하고, 센서 자체의 기능을 활용하여 실시간 분할을 가능하게 한 기술적 돌파구로 평가됩니다.