기술 요약: 광학 흐름 추정 네트워크에 대한 물리적 실시간 적외선 공격

1. 문제 정의

광학 흐름 추정 네트워크(Optical Flow Estimation Networks, OFENs)는 자율 주행, 동작 탐지 및 장애물 회피 분야에서 중요한 상위 모델로서, 하위 의사 결정 시스템으로 전달되는 운동 벡터를 제공한다. 그러나 다른 심층 신경망(DNN)과 마찬가지로, OFEN은 적대적 예제(Adversarial Examples, AEs)에 취약하다.

기존의 물리적 세계 공격은 네 가지 주요 한계점을 가진다:

1. 디지털-물리 간극(Digital-to-Physical Gap): 많은 방법론이 디지털 영역에서 성능을 평가하며, 실제 환경 배포에 필요한 복잡한 물리적 변환(노이즈, 조명, 센서 각도)을 고려하지 못한다.
2. 정적 구현(Static Implementation): 일부 물리적 공격은 단순히 디지털 AE를 인쇄하는 방식에 그치며, 카메라가 필연적으로 포착하게 되는 노이즈가 AE의 효과를 저하시킨다는 점을 간과한다.
3. 역동성 결여(Lack of Dynamics): 이전 연구들은 종종 대상 객체의 움직임을 고려하지 못하여, 객체가 각도를 바꾸거나 위치를 변경할 때 공격이 실패하는 결과를 초-래한다.
4. 가시성(Visibility): 대부분의 공격은 가시적인 패치나 조명에 의존하며, 이는 비가시성(imperceptibility) 원칙을 위반하고 인간에게 쉽게 탐지될 수 있다.

본 논문은 대상 객체가 움직임에 따라 OFEN을 동적으로 방해할 수 있으면서도, 피해 시스템을 수정하거나 인간 관찰자에게 경고를 보내지 않는 스텔스형 실시간 물리적 공격의 필요성을 다룬다.

2. 방법론: 실시간 적외선 광 공격 (Real-time Infrared Light Attack, RILA)

제안된 방법인 RILA는 대상 객체의 표면에 부착된 적외선(IR) 조명을 활용한다. 대부분의 저조도 환경용 카메라는 IR 필터가 없어 IR 광을 포착하지만, 인간은 이를 인지하지 못한다. 공격 과정은 두 단계로 나뉜다.

A. 학습 단계 (오프라인)

물리적 세계의 비미분적 특성(섭동에서 물리적 빛으로의 변환 함수 $C(\cdot)$)을 극복하기 위해, 저자들은 **유전 알고리즘(Genetic Algorithm, GA)**을 채택하였다.

• 초기화: 균등 분포 대신, GA는 광학 흐 흐의 "밝기 불변성(Brightness Constancy)" 가정에 기반한 두 가지 사전 설정 전략을 사용한다. 이는 프레임 홀짝성에 따라 특정 강도 수준($\gamma = 0.2$ 또는 $0.8$)으로 초기 섭동을 설정함으로써 인접 프레임 간의 밝기 차이를 최대화하는 것을 목표로 한다.
• 진화: GA는 섭동(광도 벡터)을 반복적으로 생성한다. 각 후보에 대해 하드웨어 컨트롤러는 IR 조명을 설정하고, 카메라는 프레임을 캡처하며, OFEN은 광학 흐를 추정한다.
• 적합도 함수(Fitness Function): 세 가지 손실 항을 사용하여 진화를 유도하는 다목적 적합도 함수를 사용한다:
  1. 비가시성 손실 ($L_{Vis}$): 광학 흐의 "공백(blankness)"을 최대화한다 (객체를 탐지 불가능하게 만듦).
  2. 비인지성 손실 ($L_{Per}$): 광학 흐의 분산을 최소화하여 혼돈을 야기하고 정확한 동작 인지를 방해한다.
  3. 플래시 손실 ($L_{Flash}$): 연속된 프레임 간의 밝기 차이를 최대화하여 시간적 연속성 가정을 방해한다.

B. 공격 단계 (실시간)

GA는 실시간 적용에 너무 느리기 때문에, 학습된 데이터(이전 섭동과 최적의 섭동 쌍)는 **적대적 생성 네트워크(Adversarial Generative Network, AGN)**를 학습시키는 데 사용된다.

• 구조: 이전 섭동 $P_{i-1}$을 입력으로 받아 다음 섭동 $P_i$를 출력하는 단순한 완전 연결 네트워크(fully connected network)이다.
• 실행: 물리적 세계에서 AGN은 밀리초 단위로 섭동을 생성하여 하드웨어 컨트롤러로 보내고, IR 조명은 즉각적으로 업데이트된다. 이를 통해 공격은 카메라의 프레임 레이트(예: 30fps)와 보조를 맞출 수 있다.

3. 주요 기여

1. 패러다임 전환: "디지털 공격/물리적 배포" 모델에서 벗어나 물리적 제약 조건에 직접 최적화하는 "물리적 학습 및 물리적 배포" 접근 방식을 제안한다.
2. 스텔스 메커니즘: 적외선 조명을 사용하여 인간의 눈에는 보이지 않으면서 표준 카메라에는 보이도록 설계하여 공격의 은밀함을 확보한다.
3. 동적 적응: GA로 생성된 데이터로 학습된 실시간 생성 네트워크(AGN)를 도입하여, 피해 모델을 수정하지 않고도 움직이는 객체에 적응할 수 있게 한다.
4. 특화된 손실 함수: OFEN에 대한 AE 생성을 효과적으로 유도하기 위해 세 가지 특정 손실 항(비가시성, 비인지성, 플래시)을 설계한다.

4. 실험 결과

실험은 트랙, 주변 조명 제어, 840nm IR 조명 및 ESP32 컨트롤러를 갖춘 물리적 테스트 환경에서 수행되었다. 피해 모델은 RAFT와 PWC-Net이다.

• 절제 연구(Ablation Study): 세 가지 손실 함수 중 하나라도 제거하면 성능이 저하되었다. 특히 **플래시 손실(Flash Loss)**이 가장 핵심적인 구성 요소로 확인되었으며, 이를 제거했을 때 공격 효능(AIV 감소)이 가장 크게 나타났다.
• 주변 조명: 본 방법은 다양한 주변 조명 강도(0.1 ~ 1.0) 전반에서 견고하게 작동했다. 매우 밝은 조건(>0.7)에서는 상대적인 IR 기여도가 감소했으나, 공격은 여전히 효과적이었다.
• 객체 속도: 성능(평균 비가시성 - AIV 및 평균 비인지성 - AIP로 측정)은 33 cm/s 속도까지 높게 유지되었으나, 속도가 증가함에 따라 점진적인 하락이 관찰되었다.
• 카메라 거리: IR 조명의 고정된 피복 면적 덕분에 30cm에서 120cm 거리 사이에서 일관된 성능을 유지했다.
• 모델 반복(Iterations): 공격은 RAFT의 반복 횟수(5~15회)와 관계없이 효과적이었으며, 이는 모델의 내부 계산 복잡성에 대한 강건성을 입증한다.

5. 의의 및 주장

본 논문은 RILA가 OFEN에 대한 실용적이고 실시간적인 물리적 공격을 성공적으로 입증했다고 주장한다. 그 의의는 다음과 같다:

• 스텔스성: IR 조명을 사용하여 공격이 인간에게 보이지 않게 함으로써, 가시적 조명 공격을 제한하는 "비인지성" 제약을 우회한다.
• 강건성: 비-그래디언트 기반 방식(GA)을 사용하여 물리적 환경에서 직접 학습하고 생성 네트워크를 통해 배포함으로써, "심투리얼(sim-to-real)" 간극과 디지털-물리 전이 시 발생하는 노이즈 문제를 극복한다.
• 위협 평가: 결과는 현재 OFEN에 의존하는 보안 시스템에 "심각한 위협"이 될 수 있음을 나타낸다. 이 공격은 다양한 조명, 속도, 거리 환경에서 네트워크의 광학 흐 추정 능력을 저해할 수 있기 때문이다.

저자들은 현재 연구가 광학 흐에 집중하고 있지만, 이 방법론이 객체 탐지와 같은 다른 자율 주행 작업으로 확장되어 더욱 포괄적인 멀티모달 공격을 생성할 수 있다고 결론짓는다.