기술 요약: Sarus – 동형 암호를 통한 프라이버시 보존형 다중 벤더 인지 퓨전

1. 문제 정의

협력적 인지(Cooperative perception)는 자율주행 차량(AV)과 인프라가 여러 에이전트로부터 탐지 출력을 집계하여, 폐쇄(occlusion)에 대한 대응력, 강건성 및 센싱 범위를 개선할 수 있게 해준다. 그러나 다중 벤더 배포 환경에서는 추론 시점에 원시 탐지 출력(예: 바운딩 박스, 신뢰도 점수)을 공유하는 것이 심각한 프라이버시 및 보안 위험을 초래한다:

• 모델 추출(Model Extraction): 공격자는 신뢰도 점수와 응답 패턴을 관찰함으로써 독점적인 모델 결정 경계를 추론하거나 대리 모델(surrogate models)을 재구성할 수 있다.
• 데이터 유출(Data Leakage): 탐지 출력은 개인이나 사물의 존재 및 행동을 포함한 민감한 환경 정보를 드러낸다.
• 부채널 유출(Side-Channel Leakage): 타이밍, 출력 희소성(sparsity), 탐지 패턴과 같은 부가 데이터는 장면의 복잡성이나 센서 특성에 대한 정보를 유출할 수 있다.
• 교차 벤더 추론(Cross-Vendor Inference): 경쟁사는 동일한 장면에 대한 서로 다른 모델의 출력을 비교 분석하여 각 모델의 상대적인 강점과 약점을 파악할 수 있다.

기존 솔루션들은 주로 평문(plaintext) 공유에 의존하거나 학습 단계의 프라이버시(예: 연합 학습)에 집중되어 있는데, 이는 인스턴스 수준의 예측을 집계해야 하는 추론 단계의 협업에는 적합하지 않다. 벤더 고유의 정보를 드러내지 않으면서 구조화된 인지 출력을 안전하게 집계할 수 있는 확장 가능한 프레임워크가 부족한 실정이다.

2. 방법론: Sarus 프레림워크

Sarus는 탐지 출력을 압축된 암호화 통계 표현으로 변환함으로써 이러한 과제를 해결하며, 이를 통해 동형 암호(Homomorphic Encryption, HE)를 사용하여 암호 영역에서 직접 집계할 수 있도록 한다.

2.1 핵심 개념: 가우시안 스플래팅(Gaussian Splatting) 및 모멘트 인코딩

Sarus는 비선형 연산(예: 비최대 억제, NMS)이 필요한 이산적인 바운딩 박스를 공유하는 대신, 각 탐지를 하나의 **가우시안 스플랫(Gaussian splat)**으로 변환한다.

• 표현 방식: 바운딩 박스 $b = [x_1, y_1, x_2, y_2]$는 공간적 가우시안 분포 $N((\mu_x, \mu_y), \text{diag}(\sigma_x^2, \sigma_y^2))$로 모델링된다. 평균 $(\mu_x, \mu_y)$는 박스의 중심에 해당하며, 분산은 조절 가능한 스케일링 파라미터 $\kappa$와 함께 박스의 크기에서 유도된다.
• 모멘트 벡터: 각 탐지는 충분 통계량(sufficient statistics)을 포함하는 가중치 모멘트 벡터로 인코딩된다:
  $$\mathbf{m} = w \cdot [1, \mu_x, \mu_x^2, \sigma_x^2, \mu_y, \mu_y^2, \sigma_y^2]$$
  여기서 $w$는 신뢰 가중치가 적용된 신뢰도 점수이다.
• 선형성: 결정적으로, 이러한 모멘트 벡터들을 여러 탐지에 대해 집계하는 것은 선형 연산(합산)이다. 이를 통해 퓨전 서버는 암호화된 페이로드를 복호화하지 않고도 결합할 수 있다.

2.2 공간 빈닝(Spatial Binning) 및 소프트 할당(Soft Assignment)

확장성을 보장하고 공간적으로 멀리 떨어진 객체들이 서로 간섭하는 것을 방기하기 위해, 장면을 공유된 공간 격자(클래스별 그리드)로 이산화한다.

• 소프트 할당: 탐지의 모멘트 벡터는 가우시안 중심의 위치와 빈(bin) 중심 사이의 관계에 기반한 쌍선형 보간(bilinear interpolation) 가중치를 사용하여 최대 4개의 인접한 빈에 분배된다.
• 로컬 집계: 각 벤더는 암호화하기 전에 모멘트 벡터를 클래스별 빈 축적기(accumulator)에 로컬하게 집계한다. 이는 여러 탐지가 동일한 공간적 가설 내에 존재할 수 있으므로, 페이로드 크기를 $O(N)$(탐지 수 $N$)에서 $O(B)$(점유된 빈 수 $B$)로 줄여준다.

2.3 시스템 워크플로우

1. 벤더 측:
   • 로컬 센서 데이터를 처리하여 탐지를 생성한다.
   • 탐지를 가우시안 스플랫으로 변환하고 모멘트 벡터를 계산한다.
   • 모멘트를 공간 빈(클래스별)으로 집계한다.
   • 근사 산술을 지원하는 CKKS 스킴을 사용하여 집계된 모멘트 벡터와 관련 통계량(신뢰 질량, 개수)을 암호화한다.
   • 암호화된 페이로드를 퓨전 서버로 전송한다.
2. 퓨전 서버:
   • 모든 참여 벤더로부터 암호화된 페이로드를 수집한다.
   • 점유된 키(클래스-빈 쌍)의 합집합을 계산한다.
   • 모든 벤더에 걸쳐 각 키에 대한 암호화된 모멘트 벡터에 대해 동형 덧셈을 수행한다.
   • 나중에 사용하기 위해 평문 통계량(질량 및 개수)을 집계한다.
   • 퓨전된 암호화 페이로드를 반환한다.
3. 재구성 (권한이 있는 당사자):
   • 퓨전된 모멘트 벡터를 복호화한다.
   • 모멘트를 역산하여 퓨전된 가우시안 파라미터($\mu, \sigma$)를 복구한다.
   • 가우시안 파라미터로부터 바운딩 박스를 재구성한다.
   • **클러스터 퓨전(Cluster Fusion)**을 수행한다: 빈 수준의 가설을 노드로 하는 공간적 일관성 그래프를 구축한다. 에지는 기하학적 중첩(IoU) 및 통계적 근접성(마할라노비스 거리) 제약을 만족하는 인접 빈 사이에 연결된다. 연결된 구성 요소(connected components)를 병합하여 최종 퓨전된 탐지를 생성한다.

2.4 위협 모델

• 적대적 서버: 정직하지만 호기심 많은(Honest-but-curious) 모델로, 프로토콜을 따르지만 암호문으로부터 개별 벤더의 입력을 추론하려고 시도한다.
• 호기심 많은 벤더: 상호 신뢰할 수 없는 관계이며, 자신의 입력과 최종 복호화된 출력만을 볼 수 있다.
• 가정: 암호화 스킴은 의미론적으로 안전하며, 벤더들은 공유된 공간 참조 프레임 및 페이로드 스키마를 준수한다. 능동적 공격 및 키 탈취는 범위 밖이다.

3. 주요 기여

• 암호화된 모멘트 기반 퓨전: 가우시안 모멘트의 선형성을 활용하여 벤더 고유의 동작을 드러내지 않고 다중 벤더 인지 집계를 가능하게 하는 프레임워크.
• 공간 빈닝 메커니즘: 명시적인 교차 벤더 매칭을 피하면서, 점유된 빈의 수($B$)와 벤더 수($V$)에 따라 $O(B \cdot V)$의 복잡도로 확장 가능한 퓨전 전략.
• 포괄적 평가: 벤더 페이로드 생성, 서버 측 HE 퓨전 및 후처리를 포함하는 성능 분석을 통해 선형적 확장을 입증함.
• 실증적 검증: KITTI 데이터셋을 통해 Saris가 카메라(YOLOv8)와 LiDAR(PointPillars, PV-RCNN) 모달리티 간의 상호 보완적인 탐지를 효과적으로 집계함을 보여줌. 특히 개별 모달리티의 성능이 저하되는 거리 의존적 영역에서 효과적임.

4. 실험 결과

실험은 KIT_TI 데이터셋과 다양한 속도 및 인공 강우 조건이 포함된 실제 자율주행 테스트 차량 설정(VTTI 트랙)에서 수행되었다.

• 정확성: 동형 퓨전 출력은 평문 퓨전과 비교되었다. 두 방식 간의 IoU(Intersection-over-Union)는 평균 0.99997 이상이었으며, 바운딩 박스 중심 편차는 $\le 0.5$ 픽셀이었다. 이는 CKKS 기반의 근사 산술이 인지 작업에 있어 무시할 수 있는 수준의 오차만을 도입함을 확인시켜 준다.
• 계산 복잡도:
  • 벤더 페이로드 구축: 탐지 수($O(N)$) 및 점유된 빈 수($O(B)$)에 따라 선형적으로 확장된다. 암호화가 가장 지배적인 비용이다.
  • 서버 측 퓨전: $O(B \cdot V)$로 확장된다. 서버는 개별 탐지가 아닌 집계된 빈을 처리한다.
  • 후처리: 복호화 및 그래프 기반 클러스터 퓨전에 의해 지배되며, $O(B + \sum B_c^2)$로 확장된다.
• 성능 오버헤드: 동형 암호는 평문 대비 상수 배의 오버헤드(300배에서 1000배 사이)를 발생시키며, 페이로드 크기를 증가시킨다(암호문 확장 계수 $\approx 3 \times 10^3$). 그러나 시스템은 선형적 확장성을 유지하므로, 장면 복잡도가 제한된 상황에서 예측 가능하고 실행 가능하다.
• 인지 능력: Sarus는 특히 LiDAR의 희소성으로 인해 성능이 저하되는 장거리($\ge 40$m) 및 보행자 영역에서 장면 수준의 커버리지를 크게 향상시켰다. 또한 카메라와 LiDAR 모달리티 간의 상호 보완적인 탐지를 성공적으로 집계하였다.

5. 의의 및 주장

본 논문은 통계적 압축(모멘트 인코딩)과 공간적 희소성(빈닝)을 결합하여 활용할 때, 프라이버시를 보존하는 다중 벤더 인지 퓨전이 실시간 배포를 위해 실현 가능하다고 주장한다.

• 실현 가능성: HE의 계산 오버헤드에도 불구하고, 선형적 확장 특성은 시스템이 예측 가능하고 확장 가능함을 보장한다. 제한된 상수 배의 오버헤드는 장면 복잡도가 중간 정도인 시나리오에서 실시간 작동을 불가능하게 만들지 않는다.
• 프라이버시 vs 효용성: Sarus는 효용성과 프라이버시 유출을 성공적으로 분리한다. 벤더들이 독점적인 모델 동작이나 민감한 환경 데이터를 노출하지 않고도 통합된 장면 이해에 기여할 수 있게 한다.
• 한계점: 저자들은 가우시안 근사가 높은 IoU 임계값에서 정밀한 바운딩 박스 위치 결정 성능을 저하시킬 수 있음을 인정한다. 또한, 본 프레임워크는 신뢰할 수 있는 입구 제어(admission control)를 가정하며, 능동적 공격자나 복잡한 키 관리 시나리오(예: 임계치 복호화)를 다루지는 않으며, 이는 향후 연구 과제로 남겨두었다.

결론적으로, Sarus는 협력적 인지와 프라이버시 보존 사이의 간극을 메우며, 자율주행 생태계 내에서 안전한 다중 벤더 협업을 위한 실질적인 경로를 제시한다.