1. 문제 정의 (Problem Definition)

LPCVC 2025 는 에지 컴퓨팅 환경 (모바일, 임베디드 시스템 등) 에서 **정확도 (Accuracy)**와 자원 제약 (Latency, Memory, Energy) 사이의 균형을 맞추는 효율적인 컴퓨터 비전 모델의 개발을 촉진하기 위해 설계되었습니다. 기존 대규모 벤치마크 (ImageNet, COCO 등) 가 주로 성능 극대화에 초점을 맞춘 반면, 본 챌린지는 실제 하드웨어 (Qualcomm Snapdragon 칩셋) 에서의 실행 시간과 메모리 사용량을 엄격하게 제한하는 것이 핵심 문제입니다.

2025 년 챌린지는 다음 세 가지 트랙으로 구성되었습니다:

1. 트랙 1 (이미지 분류): 다양한 조명 조건 (저조도, 역광 등) 과 스타일 (실내, 실외, 합성 이미지) 에 대한 모델의 강건성 (Robustness) 평가.
2. 트랙 2 (오픈 보카불러리 분할): 텍스트 프롬프트를 기반으로 사전 학습된 클래스에 포함되지 않은 객체를 분할하는 자연어 기반 시맨틱 분할.
3. 트랙 3 (단안 상대 깊이 추정): 멀티뷰 또는 능동 센서 없이 단일 RGB 이미지로부터 깊이 맵을 생성하는 경량화 모델 설계.

2. 방법론 및 평가 프레임워크 (Methodology & Evaluation Framework)

A. 평가 인프라: Qualcomm AI Hub

모든 모델 평가는 Qualcomm AI Hub를 통해 수행되어 일관성과 재현성을 보장했습니다.

• 하드웨어: Snapdragon 8 Elite (트랙 1, 3) 및 Snapdragon X Elite (트랙 2) 기반의 QRD(Custom Reference Design) 및 CRD(Consumer Reference Design) 에서 실행.
• 프로세스: 참가자는 AI Hub 를 통해 모델을 컴파일하고, 고유한 Compile Job ID 를 제출. Purdue University 의 평가 서버가 AI Hub 를 통해 원격 추론을 수행하고 지연 시간 (Latency) 과 정확도를 측정.
• 제약 조건: 각 트랙마다 엄격한 지연 시간 임계값이 설정됨 (예: 트랙 1 은 10ms, 트랙 2 는 1 초, 트랙 3 은 34ms).

B. 평가 지표 (Evaluation Metrics)

각 트랙은 지연 시간 필터링을 통과한 모델에 대해 최종 점수를 산출합니다.

• 트랙 1 (분류): 최종 점수 = $Accuracy / \max(Execution Time / 2, 1)$. 지연 시간이 2ms 이상일 경우 가중치가 적용되어 정확도와 효율성의 균형을 유도.
• 트랙 2 (분할): 평균 교집합 비율 (mIoU) 을 사용. 1 초 이내의 추론 시간 조건 하에서 mIoU 가 높은 순서로 랭킹.
• 트랙 3 (깊이 추정): 3D 포인트 클라우드 변환을 기반으로 한 정밀도 (Precision), 재현율 (Recall), 그리고 이를 결합한 F-score를 주요 지표로 사용.

3. 주요 기여 및 우승 솔루션 분석 (Key Contributions & Winners' Solutions)

본 논문은 각 트랙의 우승 팀이 제시한 혁신적인 최적화 기법을 상세히 분석합니다.

트랙 1: 이미지 분류 (우승: LabLVM, Ajou University)

• 성과: 베이스라인 (MobileNetV2, 정확도 0.692) 대비 0.974의 높은 정확도 달성.
• 핵심 기법:
  • Layer Merging (레이어 병합): Vision-Language Model (MobileCLIP) 의 깊은 인코더를 얕게 만들기 위해 인접한 레이어들을 가중치 합산하여 병합.
  • Layer Imitation (레이어 모방): 병합된 레이어가 원래 레이어의 출력 특징 벡터를 모방하도록 MSE 손실 함수로 학습시킴. 전체 모델을 파인튜닝하지 않고도 성능 저하를 최소화하면서 모델 경량화를 달성.
  • Calibration Data: COCO 데이터셋을 사용하여 레이어 병합 범위를 결정하는 안정성 분석 수행.

트랙 2: 오픈 보카불러리 분할 (우승: SICer, Southeast University)

• 성과: 베이스라인 (X-Decoder, mIoU 0.461) 대비 0.532의 mIoU 달성.
• 핵심 기법:
  • 데이터 증강: Visual Genome 및 AI 생성 텍스트 프롬프트를 활용하여 미시적 (Unseen) 클래스의 일반화 능력 향상.
  • 아키텍처 최적화: 전통적인 Multi-head Attention 을 **Multi-scale Linear Attention (MLA)**으로 대체하여 연산량 (FLOPs) 감소 및 지연 시간 단축.
  • 하이브리드 파인튜닝: COCO 데이터 전체 파인튜닝 후, LoRA 및 Visual Prompt Tuning (VPT) 을 적용하여 증강된 데이터셋에 맞춰 효율적으로 학습.
  • 손실 함수: IoU 기반 손실과 글로벌 mIoU 손실을 결합하여 드문 클래스와 작은 객체의 분할 성능 향상.

트랙 3: 단안 깊이 추정 (우승: Sailor Moon, University of Minnesota)

• 성과: 베이스라인 (Depth-Anything-V2, F-score 62.37) 대비 83.14의 F-score 달성.
• 핵심 기법:
  • 모델 그래프 최적화 (Model Graph Optimization): Qualcomm AI Hub 의 분석 도구를 활용하여 상수 연산 (Normalization, Class Embedding 등) 을 식별하고, 이를 단일 합성곱 레이어나 FC 레이어로 **대수적 융합 (Algebraic Fusion)**하여 불필요한 연산 제거.
  • 입력 해상도 튜닝: 지연 시간 제약 (34ms) 내에서 F-score 를 최대화하는 최적의 입력 해상도 (434x322) 를 탐색.

4. 결과 (Results)

• 전체적 성과: 모든 트랙에서 우승 팀들은 베이스라인 대비 상당한 성능 향상을 보였습니다. 특히 트랙 1 의 경우 정확도가 28% 이상 향상되었고, 트랙 3 의 F-score 는 20 포인트 이상 증가했습니다.
• 효율성: 모든 우승 솔루션은 하드웨어 제약 조건 (지연 시간 임계값) 을 만족하면서도 높은 정확도를 달성하여, 에지 디바이스 배포 가능성을 입증했습니다.
• 추세: 참가자들은 기존 모델 (MobileNet, EfficientNet, CLIP, Depth-Anything-V2 등) 을 기반으로 가지치기 (Pruning), 양자화 (Quantization), 경량 파인튜닝, 해상도 조정 등을 통해 최적화하는 경향을 보였습니다.

5. 의의 및 향후 방향 (Significance & Future Directions)

• 실용적 가치: 본 챌린지는 이론적 성능뿐만 아니라 실제 하드웨어에서의 실행 가능성 (Deployment Feasibility) 을 검증함으로써, 에지 AI 기술의 성숙도를 높이는 데 기여했습니다.
• 도구와 생태계: Qualcomm AI Hub 와 같은 표준화된 평가 플랫폼의 중요성을 재확인시켰으며, 이는 재현 가능한 벤치마킹을 가능하게 합니다.
• 향후 제안:
  • 다양한 베이스라인 제공: 단일 모델이 아닌 다양한 복잡도와 효율성을 가진 모델 군을 제공하여 혁신을 장려.
  • 종합적 평가 지표 확장: 지연 시간 외에도 에너지 소비량, **메모리 사용량 (Peak Runtime Memory)**을 평가 지표에 포함.
  • 하드웨어 중립성: 단일 플랫폼 최적화를 방지하기 위해 여러 에지 디바이스에서의 평가 도입.
  • 창의성 장려: 기존 모델 최적화뿐만 아니라 새로운 아키텍처 설계에 대한 별도 부문 또는 상 신설.

결론적으로, 2025 LPCVC 는 제한된 자원 환경에서 고성능 컴퓨터 비전 시스템을 구축하기 위한 다양한 전략 (레이어 병합, MLA, 그래프 최적화 등) 을 제시했으며, 에지 AI 의 미래 발전 방향에 대한 중요한 통찰을 제공했습니다.