💻 computer science

Privacy-Preserving Clothing Classification using Vision Transformer for Thermal Comfort Estimation

본 논문은 암호화된 이미지에서 높은 정확도를 유지함으로써 기존 프라이버시 보호 이미지 분류 방식에서 일반적으로 발생하는 심각한 정확도 저하를 극복하고, 안전한 거주자 중심 열적 쾌적성 제어를 가능하게 하는 비전 트랜스포머 (ViT) 를 활용한 프라이버시 보호 의류 분류 방법을 제안한다.

원저자: Tatsuya Chuman, Yousuke Udagawa, Hitoshi Kiya

게시일 2026-04-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tatsuya Chuman, Yousuke Udagawa, Hitoshi Kiya

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

집의 에어컨이 완벽하게 쾌적하기를 원하지만, 시스템을 관리하는 회사에 가족 사진을 보여주고 싶지 않다고 상상해 보세요. 이 논문이 해결하는 문제가 바로 이것입니다.

그들이 어떻게 해냈는지 간단히 설명한 이야기입니다:

문제: "유리 집" 딜레마

방을 적절하게 느끼게 하려면 난방 및 냉방 시스템이 사람들이 무엇을 입고 있는지 알아야 합니다. 두꺼운 코트를 입으면 방이 더 따뜻해야 하고, 티셔츠를 입으면 더 시원해도 됩니다.

보통 카메라가 사람들이 무엇을 입고 있는지 추측하기 위해 사진을 찍습니다. 하지만 원본 사진을 클라우드 서버로 보내는 것은 낯선 사람에게 일기를 내주어 읽게 하는 것과 같습니다. 이는 프라이버시 재앙입니다.

과학자들은 사진을 전송하기 전에 흐리게 만드는 것 (암호화) 으로 이 문제를 해결하려고 시도했습니다. 하지만 함정이 하나 있습니다: 흐리게 만드는 것은 보통 사진을 읽으려는 "두뇌" (AI) 를 망가뜨립니다. 마치 조각을 작고 알아볼 수 없는 조각으로 잘라낸 퍼즐 조각을 맞추려고 하는 것과 같습니다. 이전 방법들은 흐린 사진을 읽는 데 너무 형편없어서 AI 는 거의 절반의 확률로 틀리게 추측했습니다.

해결책: "레고 블록" 두뇌

이 논문의 저자들은 AI 의 두뇌를 망가뜨리지 않는 새로운 방식으로 사진을 흐리게 만드는 방법을 발견했습니다. 그들은 비전 트랜스포머 (ViT) 라는 특수한 유형의 AI 를 사용했습니다.

일반적인 AI (예: CNN) 를 한 글자씩 책을 읽듯이 사진의 픽셀 하나하나를 살펴보는 탐정으로 생각해보세요. 만약 글자를 섞어버린다면, 그 탐정은 이야기를 읽을 수 없습니다.

하지만 비전 트랜스포머는 큰 덩어리 (레고 블록과 같은) 로 사진을 살펴보는 탐정처럼 행동합니다. 블록 안의 작은 픽셀들의 정확한 순서에는 관심이 없으며, 전체 블록의 모양과 색상에만 관심을 가집니다.

마법 같은 트릭: 비밀 섞기

그들의 방법 중 가장 교묘한 부분은 다음과 같습니다:

설정: AI 개발자는 사전 훈련된 "두뇌"를 가져와 비밀 키로 잠급니다.
흐리게 만들기: 사용자가 옷차림을 확인하고 싶으면 사진을 가져와 같은 큰 "레고 블록"으로 잘라냅니다. 그런 다음 비밀 키를 사용하여 블록들을 섞어서 재배치하고 각 블록 안의 픽셀들을 뒤섞습니다.
- 비유: 고양이가 찍힌 사진이라고 상상해 보세요. 이전 방법은 이를 정적 노이즈로 만들었을 것입니다. 이 새로운 방법은 고양이의 머리가 왼쪽에, 꼬리가 오른쪽에 있고 털 색이 다르지만, 고양이의 모양은 여전히 남아있는 사진으로 바꿉니다.
결과: 비전 트랜스포머는 큰 덩어리만 보기 때문에, 사진이 인간의 눈에는 뒤죽박죽 섞인 것처럼 보일지라도 여전히 "고양이" (또는 "코트") 를 인식할 수 있습니다.

그들이 발견한 것

연구자들은 방대한 의류 사진 데이터베이스에서 이 방법을 테스트하여 sleeveless(소매 없는), short-sleeve(반팔), long-sleeve(긴팔), heavy outerwear(두꺼운 겉옷) 의 네 가지 그룹으로 분류했습니다.

기존 방식 (픽셀 기반): 사진을 흐리게 만들었을 때 AI 의 정확도가 크게 떨어졌습니다. 두꺼운 코트의 경우, 73% 의 정확도에서 65% 로 떨어졌습니다. 스웨터와 재킷을 구별하는 데 어려움을 겪었습니다.
새로운 방식 (ViT 기반): 그들이 새로운 "레고 블록" 섞기를 사용했을 때, AI 는 **95.65%**의 정확도를 보였습니다.
- 기적: 흐리게 만든 사진의 정확도는 원본, 즉 흐리게 만들지 않은 사진의 정확도와 정확히 동일했습니다. 흐리게 만드는 것이 AI 에 전혀 해를 끼치지 않았습니다.

결론

이 논문은 이제 사람들이 옷차림을 파악하여 온도 조절을 위해 클라우드에 "흐리게 만든" 사진을 보낼 수 있음을 보여줍니다. 이때 AI 는 올바르게 추측하는 능력을 잃지 않습니다.

이는 마치 자물쇠가 채워지고 섞인 퍼즐을 친구에게 보내는 것과 같습니다. 그 친구는 그 퍼즐을 즉시 풀 수 있는 특별한 능력을 가지고 있지만, 다른 모든 사람에게는 사진이 숨겨져 있습니다. 이는 프라이버시를 희생하지 않으면서도 스마트하고 쾌적한 집을 가능하게 합니다.

"열적 쾌적성 추정을 위한 비전 트랜스포머를 활용한 개인정보 보호 의류 분류" 논문에 대한 상세 기술 요약입니다.

1. 문제 제기

이 논문은 현대 건물 관리 시스템에서 발생하는 치명적인 상충 관계를 다룹니다. 즉, 열적 쾌적성을 최적화하기 위한 주거자 중심 제어 (OCC) 의 필요성과 사용자 개인정보 보호의 필수성 사이의 갈등입니다.

배경: HVAC(난방, 환기, 및 에어컨) 시스템은 예측 평균 투표 (PMV) 지수에 의존하는 경우가 많으며, 카메라 이미지와 딥러닝을 활용하여 주거자의 열적 쾌적성을 추정하는 데 점점 더 많이 사용되고 있습니다.
핵심 매개변수: 의류 단열 (clo-value) 은 PMV 계산에 필수적인 입력 요소입니다.
과제:
- 개인 식별 정보 (PII) 가 포함된 원본 이미지를 처리를 위해 신뢰할 수 없는 클라우드 서버로 전송하는 것은 심각한 개인정보 보호 문제를 제기합니다.
- 기존 개인정보 보호 방법 (예: 합성곱 신경망 또는 CNN 을 사용하여 이미지를 모델에 전송하기 전에 암호화하는 방식) 은 심각한 정확도 저하를 겪습니다. 이는 픽셀 기반 암호화가 특징 추출을 위해 CNN 이 의존하는 공간적 상관관계를 파괴하기 때문입니다.

2. 방법론

저자들은 비전 트랜스포머 (ViT) 아키텍처와 특정 키 기반 이미지 암호화 기술을 결합한 새로운 방식을 제안합니다.

A. 시스템 아키텍처

이 워크플로우는 모델 개발자와 사용자라는 두 당사자를 포함합니다.

모델 개발:
- 사전 훈련된 ViT 모델 (특히 ViT-S/16) 이 의류 데이터셋으로 미세 조정됩니다.
- 모델 매개변수가 비밀 키 $K$ 를 사용하여 암호화되어 암호화된 모델 $M$ 이 생성됩니다.
- $M$ 은 클라우드 서버에 업로드됩니다.
사용자 추론:
- 사용자는 공유된 비밀 키 $K$ 를 사용하여 입력 이미지 $x$ 를 암호화하여 암호화된 이미지 $x'$ 을 생성합니다.
- $x'$ 은 클라우드 서버로 전송됩니다.
- 서버는 암호화된 이미지 $x'$ 에 대해 암호화된 모델 $M$ 을 사용하여 추론을 수행한 후 분류 결과를 반환합니다.

B. 암호화 메커니즘 (ViT 기반)

기존의 픽셀 기반 암호화와 달리, 이 방법은 ViT 의 특정 처리 특성을 활용합니다.

패치 분할: 입력 이미지는 ViT 패치 크기 ( $P=16$ ) 에 맞도록 $M \times M$ 크기의 비겹치는 블록으로 나뉩니다.
2 단계 암호화:
1. 픽셀 셔플링: 각 블록 내의 픽셀들이 키에 의해 생성된 의사 난수 시퀀스를 사용하여 치환됩니다.
2. 블록 스램블링: 블록 자체가 이미지 전체에 걸쳐 공간적으로 치환 (셔플) 됩니다.
이론적 이점: ViT 는 이미지를 패치 시퀀스로 처리하며, 이러한 패치의 절대적 공간 배치와 거의 무관한 자기 주의 (self-attention) 메커니즘을 사용하므로, 모델은 복호화 없이도 스램블된 이미지 $x'$ 에서 특징을 추출할 수 있습니다. 이는 분류에 필요한 의미론적 정보를 보존합니다.

3. 주요 기여

개인정보 보호를 위한 ViT 의 새로운 적용: 이 논문은 ViT 아키텍처가 암호화된 이미지에서 높은 분류 정확도를 유지할 수 있음을 최초로 입증하여, CNN 기반 개인정보 보호 방식에서 관찰된 정확도 저하를 극복했습니다.
종단 간 개인정보 보호 HVAC 제어: 클라우드 제공업체에 주거자의 원본 이미지를 노출시키지 않고 의류 단열 (중요한 PMV 매개변수) 을 추정할 수 있는 실용적인 프레임워크를 제공합니다.
영 (0%) 정확도 저하: 제안된 방식은 암호화된 이미지에서 평문 (암호화되지 않은) 이미지와 동일한 정확도를 달성하여, 이 특정 작업에 대한 개인정보 보호와 유용성 간의 트레이드오프를 효과적으로 제거합니다.

4. 실험 결과

저자들은 DeepFashion 데이터셋(26,887 개 이미지) 을 사용하여 이 방법을 평가했으며, 이를 민소매, 반팔 셔츠, 긴팔 셔츠, 그리고 겉옷의 네 가지 단열 수준으로 분류했습니다.

기준 비교: 제안된 ViT 기반 방식을 ResNet-18 모델에 적용된 기존 픽셀 기반 암호화 방법과 비교했습니다.
성능 지표:
- 기존 방법 (ResNet-18 + 픽셀 암호화): 평문 기준 **93.51%**에서 암호화된 경우 **83.34%**로 유의미한 정확도 저하를 겪었습니다. 긴팔 셔츠 (67.40% 로 하락) 와 겉옷 (65.64%) 과 같은 복잡한 카테고리에서 저하가 심각했습니다.
- 제안된 방법 (ViT-S/16 + ViT 기반 암호화): 암호화된 이미지에서 **95.65%**의 전체 정확도를 유지하여 평문 이미지 기준 (95.65%) 대비 0% 의 저하를 보였습니다.
- 카테고리 일관성: ViT 기반 방식은 네 가지 의류 카테고리 전반에 걸쳐 기존 방법보다 우수한 성능을 발휘했습니다.

5. 중요성과 영향

신뢰할 수 있는 열적 쾌적성 평가: 암호화된 데이터에서 높은 정확도를 유지함으로써, 시스템은 PMV 계산이 신뢰할 수 있도록 보장하여 의류 단열의 오분류를 방지하고, 이는 비효율적인 HVAC 제어나 주거자의 불쾌감으로 이어질 수 있습니다.
확장성 및 엣지 배포: 사용된 모델 (ViT-S/16) 은 2,200 만 개의 매개변수를 가지며, 소비자 가전제품의 엣지 장치에 구현하기에 적합하여 솔루션의 실용성을 더욱 높입니다.
패러다임 전환: 이 연구는 암호화된 공간 데이터에 어려움을 겪는 CNN 에서 벗어나, 암호화로 인해 도입된 공간 치환에 본질적으로 더 강건한 트랜스포머 기반 아키텍처로 나아가는 개인정보 보호 컴퓨터 비전의 전환을 시사합니다.

결론적으로, 이 논문은 비전 트랜스포머가 스마트 건물 응용 분야에서 개인정보 보호 이미지 분류를 위한 실현 가능한 솔루션을 제공하며, 암호화된 도메인에서의 정확도 손실이라는 오랜 문제를 해결함을 성공적으로 입증했습니다.