당신의 눈과 뇌가 초지능형 카메라 컴퓨터로 대체된 세상을 상상해 보십시오. 이것이 현대의 "AI 비전"이 마주한 현실입니다. 이 기술은 자율주행 자동차가 보행자를 식별하도록 돕고, 보안 카메라가 인파를 계산하게 하며, 번잡한 고속도로를 감시하는 데 사용됩니다. 이러한 시스템은 사람을 포착하는 데 매우 뛰어나지만, 치명적인 약점을 가지고 있습니다. 바로 속임수에 넘어갈 수 있다는 점입니다. 인간이 정교한 착시 현상에 속는 것처럼, AI 카메라도 우리 눈에는 단순한 노이즈처럼 보이지만 컴퓨터에게는 "눈가리개" 역할을 하는 특수한 패턴에 의해 혼란에 빠질 수 있습니다. 이 연구 분야를 "적대적 공격(adversarial attacks)"이라고 부릅니다. 이는 카메라를 망치로 부수는 것이 아니라, 그림을 그려서 AI의 뇌를 단락(short-circuit)시키는 것에 관한 것입니다. 이것이 왜 중요할까요? 만약 번화한 기차역의 보안 카메라나 교통 신호등이 사람을 보지 못하도록 속을 수 있다면, 시스템 전체가 실패하여 잠재적으로 위험한 사고나 보안 침해로 이어질 수 있기 때문입니다.

이제, 연구자들이 AI 카메라가 실제로 얼마나 취약한지를 테스트하기 위해 설계한 새로운 "마법의 망토", AdvSerial을 만나보십시오. 기존의 AI 공격 시도들이 주로 눈높이의 평면적인 거리 뷰(예: 지면 높이의 카메라)에 집중했다면, 이 새로운 방법은 스마트 시티와 고속도로에서 사용되는 높은 폴(pole)이나 건물에 설치된 카메라를 목표로 합니다. 높은 각도에서 내려다보는 카메라는 사람을 위에서 보기 때문에 형태가 왜곡되며, 이로 인해 속이기가 더 어려워집니다. 연구진은 특수한 혼돈스러운 패턴을 디지털 "재봉틀"을 통해 3D 의류 모델 위에 정교하게 입혔습니다. 그리고 이 패턴이 실제 환경의 기묘한 각도와 움직임 속에서도 살아남을 수 있도록 학습시켰습니다. 실험 결과는 놀라웠습니다. 실제 환경 실험에서 이 망토는 인기 있는 AI 탐지기인 YOLO-v5로부터 사람을 숨기는 데 약 **74.8%**의 성공률을 보였습니다. 더욱 인상적인 것은, 카메라가 사람을 인지하는 확신도(confidence)를 견고했던 **84.30%**에서 불안정한 **39.38%**까지 떨어뜨렸다는 점입니다. 가장 놀라운 점은, 이 속임수가 "이상한" 패턴을 찾아내거나 영상을 통해 시간의 흐름을 파악하려는 고급 방어 체계에 맞서서도 효과가 있었다는 것입니다.

"투명한" 재킷 이야기

이것이 어떻게 작동하는지 자세히 살펴보겠습니다. 높은 탑 위에서 내려다보는 보안 요원으로부터 사람을 숨기려 한다고 상상해 보십시오. 만약 셔츠에 크고 못생긴 스티커를 붙인다면, 보안 요원은 그 스티커를 보고 알아챌 것입니다. 만약 셔츠에 일반적인 셔츠처럼 보이지만 보안 요원을 혼란스럽게 만드는 패턴을 그린다면, 사람이 걸을 때 그 패턴이 늘어나고 뒤틀리면서 형체가 엉망이 되어 정체가 탄로 날 것입니다.

Yuanhao Huang과 Yilong Ren이 이끄는 연구진은 높은 곳에 있는 카메라로부터 사람을 진정으로 숨기려면 단순히 평면적인 스티커를 붙이는 것으로는 부족하며, 동적인 3D 슈트가 필요하다는 것을 깨달았습니다. 그들은 AdvSerial이라 불리는 시스템을 만들었으며, 이는 크게 세 가지 기능을 수행합니다.

1. 디지털 재봉틀 (특징 매끄러운 퀼트 제작 - Feature Smooth Quilting): 여러 개의 작은 천 조각으로 퀼트를 만든다고 상상해 보십시오. 각 조각에는 기괴하고 혼란스러운 패턴이 그려져 있습니다. 만약 이 조각들을 그냥 꿰매버리면, 조각들이 만나는 경계선(이음매)이 눈에 띄게 됩니다. 스마트 카메라는 그 날카로운 선을 보고 "아하! 이건 가짜 패턴이구나!"라고 판단할 수 있습니다. 이를 해결하기 위해 연구진은 조각들을 꿰매는 영리한 방법을 고안했습니다. 단순히 색상을 맞추는 대신, 카메라의 뇌가 어디에 가장 민감하게 반응하는지를 살폈습니다. 그들은 카메라의 뇌가 별로 주의를 기울이지 않는 영역, 즉 "사각지대"에서 조각들을 꿰맸습니다. 이것이 바로 **특징 매끄러운 퀼트 제작(Feature Smooth Quilting)**입니다. 이 방식은 패턴이 하나의 매끄럽고 혼란스러운 표면처럼 보이게 하여, 실제로는 이음매가 존재함에도 불구하고 AI의 눈에는 보이지 않게 만듭니다.

2. 시간 여행하는 마네킹 (연속 프레임 손실 - Serial Frame Loss): 대부분의 기존 기술은 단일 사진을 대상으로 작동했습니다. 하지만 현실 세계에서 사람들은 움직입니다! 사람들은 걷고, 뛰고, 팔을 흔듭니다. 만약 패턴이 가만히 서 있을 때만 작동한다면, 보안 카메라를 상대로는 무용지물입니다. 연구진은 끊임없이 움직이고, 자세를 바꾸고, 회전하는 3D 마네킹을 대상으로 패턴을 훈련시켰습니다. 그들은 패턴이 영상 내내 지속적으로 작동할 수 있도록 **연속 프레임 손실(Serial Frame Loss)**이라는 특별한 수학적 규칙을 사용했습니다. 이는 마술사의 기술이 단 1초 동안만 작동하는 것이 아니라, 마술사가 어떻게 움직이든 상관없이 1분 내내 유지되도록 가르치는 것과 같습니다. 이를 통해 AI가 사람을 보았다가 놓쳤다가 다시 보는 "깜빡임(flickering)" 현상을 방지했습니다.

3. 고각 테스트: 그들은 단순히 컴퓨터 화면으로만 테스트하지 않았습니다. 패턴을 실제 옷에 인쇄한 후, 3~5미터 높이에 설치된 실제 보안 카메라 앞에서 사람들이 걷게 했습니다. 또한 다양한 날씨(맑음, 비, 안개)와 다양한 거리(5~30미터)에서도 테스트를 진행했습니다.

결과: 숨바꼭질의 달인

결과는 보안 업계에 경종을 울렸습니다. 그들이 이 "마법의 망토"를 8가지 유형의 서로 다른 AI 탐지기(인기 있는 YOLO 시리즈 등 포함)를 대상으로 테스트했을 때, 결과는 일관되게 충격적이었습니다.

• 압도적인 승리: YOLO-v2 탐지기에 대해서는 **89.71%**의 성공률을 보였습니다. 더 현대적인 YOLO-v5를 대상으로 한 실제 환경 테스트에서도 여전히 **74.8%**의 성공률을 기록했습니다.
• 확신도의 급락: 공격 전, 카메라는 사람이 보인다는 것에 매우 확신하고 있었습니다(84.30% 확신도). 하지만 공격 후, 그 확신도는 **39.38%**로 곤두박질쳤습니다. 카메라는 기본적으로 "저것이 사람인지 아니면 그냥 그림자인지 잘 모르겠다"라고 말하는 상태가 된 것입니다.
• 방어 체계 격파: 연구진은 자신의 기술을 깨뜨리기 위해 두 가지 고급 방어 체계를 시도했습니다. 하나는 패턴 속의 날카롭고 부자연스러운 선을 찾는 NapGuard이고, 다른 하나는 영상의 시간 흐름을 관찰하여 움직임이 이상한지 확인하는 Sparse4D-v3입니다. 이 망토는 두 가지 모두를 이겨냈습니다. 패턴이 매우 매끄러웠기에 선을 감지하는 방어 체계가 놓쳤고, 시간 흐아가 매우 일관적이었기에 영상 검사 방어 체계가 결함을 찾아낼 수 없었습니다.

이것이 왜 중요한가 (그리고 무엇이 아닌가)

이 논문은 AI가 영원히 고장 났다고 말하는 것이 아닙니다. 대신, 이것은 일종의 '스트레스 테스트' 역할을 합니다. 이 연구는 우리가 도시의 안전을 위해 의존하는 카메라들이 특정 취약점을 가지고 있음을 보여줍니다. 즉, 위쪽 높은 각도에서 볼 때, 정교하게 설계된 특정 패턴을 입은 사람을 보는 데 어려움을 겪는다는 것입니다.

연구진은 이 기술이 사람이 서 있거나 천천히 움직일 때 가장 잘 작동한다는 것을 발견했습니다. 사람들이 달리거나 팔을 격렬하게 휘두르면 패턴이 늘어나면서 카메라가 사람의 모습을 다시 포착할 수도 있습니다(성공률이 다소 낮아졌지만, 여면 평소보다 훨씬 낮은 수준이었습니다). 이는 이 공격이 강력하긴 하지만, 모든 상황에서 100% 작동하는 마법 같은 "투명 망토"는 아니라는 점을 시사합니다.

가장 중요한 교훈은, 보안을 테스트하는 기존 방식(단순히 사진을 찍어 AI가 혼란을 느끼는지 확인하는 것)만으로는 충분하지 않다는 것입니다. 우리는 시스템이 움직이는 사람, 변하는 각도, 그리고 실제 환경의 날씨를 어떻게 처리하는지 테스트해야 합니다. 연구진은 이를 해결하기 위해 미래의 보안 시스템이 단순히 2D 이미지가 아니라, 움직임과 3D 형태를 추적하는 데 더 똑똑해져야 한다고 제안합니다.

요약하자면, AdvSerial은 스마트 시티 카메라의 숨겨진 약점을 드러내는 강력한 도구입니다. 만약 AI의 뇌가 어떻게 작동하는지 안다면, 높은 곳에서 내려다보더라도 사람을 보지 못하게 만드는 패턴을 설계할 수 있다는 것을 증명했습니다. 이는 우리가 더 스마트한 도시를 건설함에 따라, 그 도시를 안전하게 지키기 위한 더 스마트한 방어 체계도 함께 구축해야 한다는 점을 상기시켜 줍니다.