💻 computer science

AdvTiles: Physical Adversarial Camouflage Clothing against Person Detectors via Learnable Tiles

본 논문은 미분 가능한 선택 기능과 3D 가우시안 스플래팅 렌더링을 갖춘 학습 가능한 타일을 활용하여, 실제 환경에서 시각적 자연스러움을 유지하면서도 사람 탐지기에 대해 높은 공격 성공률을 달성하는 물리적 적대적 위장 프레임워크인 AdvTiles를 제안한다.

원저자: Jinlei Wang, Jiahuan Long, Mingkai Sun, Yafei Guo, Yuanhao Huang, Ming Wang, Junqi Wu, Jiacheng Hou, Hongbo Chen, Xingxing Wei, Tingsong Jiang, Wen Yao

게시일 2026-08-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jinlei Wang, Jiahuan Long, Mingkai Sun, Yafei Guo, Yuanhao Huang, Ming Wang, Junqi Wu, Jiacheng Hou, Hongbo Chen, Xingxing Wei, Tingsong Jiang, Wen Yao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 번화한 도시를 걷고 있다고 상상해 보세요. 눈을 돌리는 곳마다 카메라가 당신을 지켜보고 있습니다. 이 카메라들은 평범한 카메라가 아닙니다. 인간을 즉각적으로 포착하도록 훈련된 특수한 종류의 컴퓨터 뇌인 '사람 탐지기(person detectors)'에 의해 구동됩니다. 이 탐지기들을 눈 한 번 깜빡이지 않고 모든 얼굴과 신체 형태를 스캔하며 안전을 확보하는 초경계 보안 요원이라고 생각하면 됩니다. 하지만 반전이 있습니다. 이 디지털 경비원들은 속임수에 넘어갈 수 있습니다. 마술사가 손기술로 사람의 눈을 속이는 것처럼, 연구자들은 컴퓨터 뇌를 혼란시켜서 사람이 아무것도 아닌 것으로 보이게 만드는 '적대적(adversarial)' 패턴, 즉 시각적 환상을 만들어내는 방법을 발견했습니다. 이 연구 분야는 인간의 독창성과 기계의 시각 사이에서 벌어지는 고도의 심리전 같은 숨바꼭키와 같으며, 실제로 사라지지 않으면서도 디지털의 눈으로부터 보이지 않는 법을 탐구합니다.

오랫동안 이러한 카메라로부터 숨는 가장 좋은 방법은 셔츠에 거대하고 이상한 패치를 붙이는 것이었습니다. 마치 "나는 사람이 아니다!"라고 외치는 밝고 혼란스러운 스티커처럼 말이죠. 이것은 효과가 있었지만, 사람의 눈에는 너무 튀었고 고개를 돌리거나 멀어질 때는 잘 작동하지 않았습니다. 그 후, 과학자들은 옷 전체를 카멜레온의 피부처럼 기묘하고 자연스러워 보이는 위장 패턴으로 덮는 방법을 시도했습니다. 하지만 이러한 전신 수트에도 문제가 있었습니다. 그것들은 하나의 거대하고 변하지 않는 그림으로 설계되었기 때문입니다. 만약 컴퓨터가 다른 각도에서 당신을 본다면 전체 그림이 망가질 수 있고, 위장은 실패할 수 있었습니다. 그것은 마치 계속 주름지고 늘어나는 천 위에 완벽한 벽화를 그리려는 것과 같았습니다. 전체를 망치지 않고는 작은 부분 하나조차 수정할 수 없었기 때문입니다.

이러한 판도를 바꾸는 새로운 접근 방식인 AdvTiles가 등장했습니다. 이 방식은 당신의 옷을 거대하고 맞춤 설정 가능한 퍼즐처럼 다룹니다. 하나의 크고 경직된 그림을 그리는 대신, 연구자들은 수백 개의 학습 가능한 작은 '타일(tiles)'로 구성된 위장 수트를 만들었습니다. 이 타일들을 디지털 레고 블록이나 스크래블 타일이라고 생각해 보세요. 각 타일은 자신만의 고유한 패턴을 가지고 있으며, 컴퓨터는 이 타일들을 어떻게 배치해야 탐지기를 완벽하게 혼란시킬 수 있는지 학습합니다. 여기서 마법 같은 기술은 컴퓨터가 마치 숙련된 퍼즐 해결사처럼 개별 타일을 실시간으로 교체하고 재배치하여, 인간에게는 자연스러워 보이면서도 카메라에는 정적인 노이즈처럼 보이도록 만들 수 있다는 점입니다.

이 논문은 이 '타일 기반' 방식이 엄청난 업그레이드임을 보여줍니다. 팀은 'Straight-through Gumbel-Softmax estimator'(기본적으로 컴퓨터가 어떤 타일을 어디에 놓을지 '단호한' 선택을 하면서도 자신의 실수를 통해 배울 수 있게 해주는 도구)라는 영리한 수학적 도구를 사용하여, 타일의 패턴과 셔츠 위의 위치를 모두 최적화할 수 있었습니다. 또한, 그들은 단순히 평면적인 그림에 그치지 않았습니다. 실제 세상에서 이 수트가 제대로 작동하게 만들기 위해, 그들은 **3D 가우시안 스플래팅(3D Gaussian Splatting)**이라는 기술을 사용했습니다. 사람의 3D 모델을 가져와 이 타일 패턴의 직물로 감싸고, 변화하는 조명, 비, 다양한 배경이 있는 가상 공간 안에서 회전시키는 것을 상상해 보세요. 컴퓨터는 카메라가 줌인을 하든, 주변을 움직이든, 조명을 바꾸든 상관없이 사람이 탐지기으로부터 보이지 않도록 타일을 조정하는 법을 학습합니다.

결과는 매우 인상적입니다. 디지털 테스트에서 이 새로운 방식은 이전의 모든 최고 방법들을 제치고 평균 **86.2%의 공격 성공률(ASR)**을 기록했습니다. YOLOv5와 같은 특정 카메라로 테스트했을 때, 성공률은 **97.5%**까지 치솟았으며, 이는 탐지기가 사람을 거의 완전히 인식하지 못했음을 의미합니다. 더욱 중요한 점은, 연구자들이 실제로 이 패턴들을 실제 셔츠와 바지에 인쇄하여 현실 세계에서 입었을 때도 위장이 유지되었다는 것입니다. 사람이 카메라에 가까이 있든 멀리 있든, 혹은 카메라가 옆면을 보고 있든 정면을 보고 있든 상관없이, AdvTiles 의류는 사람을 숨겨주었습니다. 이 논문은 이 접근 방식이 중요한 진전임을 시사하며, 우리에게는 멋지고 자연스러운 옷처럼 보이지만 기계에게는 혼란스러운 글리치(glitch)처럼 보이게 함으로써, 효과적으로 디지털 보안 요원들에게 반격을 가할 수 있음을 증명하고 있습니다.

기술 요약: AdvTiles

문제 정의

사람 탐지기에 대한 물리적 적대적 공격은 국소적인 패치에서 전신 텍스처 형태로 진화해 왔습니다. 그러나 **시각적 자연스러움(visual naturalness)**과 **강력한 공격 효과(attack effectiveness)**를 동시에 달성하는 데에는 여전히 큰 과제가 남아 있습니다. 학습 가능한 제어 지점(control points)에 의해 매개변수화된 보로노이 다이어그램(Voronoi diagrams)을 사용하는 기존의 자연스러운 방식(예: AdvCaT)은 일반적으로 위장 텍스처를 전체적으로 최적화합니다. 이러한 전체론적(holistic) 접근 방식은 국소적인 적대적 패턴과 그 공간적 배치를 정교하게 조정하는 유연성을 제한하며, 이로 인해 자연스러운 외관을 유지하면서 다양한 관점, 신체 포즈 및 물리적 조건에 걸쳐 효과적인 공격을 유지하기 어렵게 만듭나다.

방법론: AdvTiles

저자들은 **학습 가능한 타일(learnable tiles)**로 구축된 물리적 적대적 위장 프레임워크인 AdvTiles를 제안합니다. 단일한 전역 텍스처를 최적화하는 대신, AdvTiles는 적대적 패턴을 이산적인 타일의 레이아웃으로 표현하여 텍스처 생성에 대한 미세한 제어를 가능하게 합니다. 이 프레임워크는 세 가지 핵심 모듈로 구성됩니다.

1. 미분 가능한 텍스처 생성 (Differentiable Texture Generation)

전역 최적화의 한계를 극복하기 위해, AdvTiles는 의류 텍스처를 학습 가능한 타일의 배열로 분해합니다.

타일 생성 (Tile Generation): 각 타일은 색상 영역, 경계 및 변환(이동, 선명도, 윤곽 빈도 및 영역 크기)을 제어하는 일련의 학습 가능한 매개변수로 정의됩니다. 인접한 타일은 매끄러운 구성을 보장하기 위해 공유된 가장자지를 따라 일치하는 "키(keys)"를 가져야 합니다.
타일 레이아웃 구성 (Tile Layout Composition): 프레임워크는 의류 UV 맵의 각 그리드 셀에 어떤 타일이 배치될지를 결정하기 위해 타일 할당 로짓 텐서(tile-assignment logit tensor)를 학습합니다. 타일 선택은 이산적인 과정이므로, 저자들은 Straight-through (ST) Gumbel-Softmax 추정기를 사용합니다. 이를 통해 미분 가능한 타일 선택이 가능해지며, 역전파를 통해 타일 패턴과 공간적 레이아웃을 공동으로 최적화할 수 있습니다.

2. 3D 가우시안 스플래팅(3DGS) 기반 물리적 렌더링

다양한 물리적 조건에서의 강건성을 보장하기 위해, 이 방법은 2D 텍스처 최적화를 넘어섭니다.

3D 모델링 (3D Modeling): 생성된 UV 텍스처는 3D 가우시안 스플래팅(3DGS) 인간 모델의 의류 영역에 매핑됩니다. 모델의 기하학적 구조와 의류 이외의 외관은 고정되며, 오직 타일 매개변수만 최적화됩니다.
물리 시뮬레이션 (Physical Simulation): 시스템은 샘플링된 시점과 스케일에 따라 텍스처가 입혀진 모델을 렌더링합니다. 이는 **HDR 환경 재조명(HDR environment relighting)**을 포함하며, IC-Light를 통해 추출된 구조적 사전 지식을 사용하여 렌더링된 인간을 다양한 배경(비, 밤, 황혼과 같은 날씨 조건 시뮬레이션)과 합성합니다. 이 과정은 실제 관찰 상황을 시뮬레이션하여, 탐지기로부터 타일 매개변수로 기울기(gradient)가 전파될 수 있도록 합니다.

3. 적대적 손실 (Adversarial Losses)

최적화 목표는 공격 성공, 시각적 품질 및 물리적 타당성의 균형을 맞추기 위해 네 가지 손실 항을 결래합니다.

탐지 손실 ( $L_{det}$ ): 정답(ground truth)과 IoU가 가장 높은 사람 클래스 바운딩 박스의 신뢰도 점수를 최소화합니다.
다양성 손실 ( $L_{div}$ ): 모델이 몇 개의 반복적인 패턴에만 의존하는 것을 방지하기 위해 다양한 타일 세트의 사용을 장려합니다.
에지 호환성 손실 ( $L_{edge}$ ): 인접한 타일이 사전 정의된 호환성 점수에 따라 일치하는 경계 패턴을 갖도록 보장합니다.
심(Seam) 손실 ( $L_{seam}$ ): 타일 경계 사이의 인접 픽셀 간 색상 연속성을 강제하여 눈에 띄는 이음매를 방지합니다.

주요 기여

타일 기반 프레임워크: 적대적 텍스처를 학습 가능한 타일의 배열로 표현하여, 자연스러운 위장 외관을 유지하면서도 강력한 공격 효과를 달고 실현하는 AdvTiles를 제안했습니다.
미분 가능한 공동 최적화: 타일 패턴과 공간적 레이아웃을 공동으로 학습하기 위해 ST Gumbel-Softmax를 도입하여 텍스처 생성에 대한 미세한 제어를 제공합니다.
강건한 물리적 렌더링: 3D 가우시안 스플래팅을 활용하여 조명, 시점, 배경의 변화를 포함한 다양한 물리적 조건에서도 강화된 위장 강건성을 확보했습니다.
포괄적인 검증: 여러 탐지기에 대해 SOTA 방법들을 상회하는 성능을 보여주는 광범-한 실험을 수행했습니다.

실험 결과

저자들은 다양한 탐지기 아키텍처(YOLO 시리즈, RetinaNet, FCOS, SSD, DETR 변형, Faster R-CNN)에 대해 패치 기반 공격(AdvPatch, NatPatch) 및 텍스처 기반 공격(AdvTexture, AdvCaT)을 포함한 다양한 베이스라인과 AdvTiles를 비교 평가했습니다.

디지털 성능: AdvTiles는 여러 탐지기에 대해 평균 **86.2%의 공격 성공률(ASR)**을 달축하여 기존 SOTA 방법들을 능가했습니다. 특히 YOLOv5와의 비교에서 AdvTiles는 97.5%의 ASR을 기록했으며, 재현율(recall) 2.5%, F1-score 4.5%를 달성하여 AdvCaT(ASR 73.6%)를 크게 앞질렀습니다.
블랙박스 전이성: 이 방법은 높은 전이성을 입증했습니다. 예를 들어, YOLOv8을 위해 생성된 텍스처가 YOLOv5 및 FCOS에서도 우수한 성능을 보였습니다.
물리적 강건성:
- 거리 및 각도: AdvTiles는 3.0m에서 9.0m 거리 및 0°에서 270° 사이의 수평 시야각 전반에서 효과적인 성능을 유지했으며, 대부분의 각도에서 ASR이 지속적으로 95% 이상을 기록했습니다.
- 실제 제작: 최적화된 위장 패턴은 착용 가능한 의류로 제작되었습니다. 실내 및 실외 환경에서의 물리적 실험 결과, AdvTiles는 다양한 거리, 각도 및 배경에서 사람 탐지를 지속적으로 회피하며 AdvCaT 및 일반적인 위장 패턴보다 우수한 성능을 보임을 확인했습니다.

의의 및 주장

본 논문은 AdvTiles가 시각적 자연스러움과 공격 강건성 사이의 트레이드오프를 해결함으로써 적대적 위장 분야를 발전시킨다고 주장합니다. 홀리스틱(holistic) 텍스처 최적화에서 학습 가능한 타일 기반 접근 방식으로 전환함으로써, 이 방법은 적대적 패턴에 대한 더 세밀한 제어를 달성합니다. 물리적 렌더링을 위한 3D 가우시안 스플래팅의 통합은 생성된 위장이 조명, 시점, 배경의 실제 변화에 강건하도록 보장합니다.

저자들은 이 연구가 적대적 공격의 실제 세계 배포를 향한 진일보를 의미하며, 사람 탐지기에 대해 효과적이면서도 시각적으로 자연스러운 적대적 의류를 만드는 것이 가능하다는 것을 입증했다고 밝힙니다. 실제 시나리오에서의 성공적인 의류 제작 및 테스트는 이 프레임워크가 물리적 적대적 공격에 가질 수 있는 잠재력을 입증합니다.