LoRA-based Adaptation Alone Is Not Enough: Understanding the Limits of Foundation Models for Face Presentation Attack Detection

당신이 로봇에게 가짜 신분증을 찾아내는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 실제 사람의 사진 천 장과, 인쇄된 사진을 들고 있거나 휴대폰으로 얼굴 영상을 재생하고 있는 사람의 사진 천 장을 보여줍니다. 로봇은 그 특정 방 안에서, 그 특정 조명 아래서, 그 특정 카메라를 사용해 가짜를 찾아내는 데 매우 능숙해집니다. 하지만 당신이 로봇을 다른 방으로 데려가거나, 조명을 바꾸거나, 카메라를 교체하는 순간, 로봇은 갑자기 모든 것을 잊어버리고 무작위로 추측하기 시작합니다. 이것이 바로 '얼굴 제시 공격 탐지(Face Presentation Attack Detection, PAD)'의 좌절스러운 현실입니다. 이는 얼굴 인식 시스템을 사진, 마스크, 또는 재생된 영상과 같은 속임수로부터 안전하게 지키기 위해 헌신하는 컴퓨터 비전의 한 분야입니다. 거대한 꿈은 카메라나 조명에 상관없이 어디서나 작동하는 탐지기를 만드는 것입니다. 최근 과학자들은 이 거대한 문제를 해결하기 위해 '파운데이션 모델(Foundation Models)'—수십억 개의 인터넷 이미지와 텍스트로 학습된 거대하고 똑똑한 AI 두뇌—를 사용하는 방법을 시도하고 있습니다. 그 희망은 이 거대한 두뇌들이 이미 세상에 대해 너무나 많은 것을 알고 있기 때문에, 아주 약간의 추가 학습만으로도 가짜를 쉽게 찾아낼 수 있을 것이라는 점이었습니다.

이 논문은 그러한 희망을 거대한 실험을 통해 시험대에 올립니다. 연구진은 32가지 종류의 이러한 거대 AI 두뇌(CLIP과 DINO 같은 유명한 모델 포함)를 가져와서, 'LoRA'라고 불리는 영리하고 가벼운 기술을 사용하여 얼굴 가짜를 찾아내도록 가르쳤습니다. LoRA를 거대한 개에게 채우는 작고 조절 가능한 훈련용 목줄이라고 생각해보세요. 우리는 개 전체를 다시 훈련시키는 것이 아니라, 새로운 기술을 배우기 위해 그 뇌의 아주 작은 부분(1% 미만)만을 미세하게 조정하는 것입니다. 결과는 놀라운 성공과 냉혹한 현실 확인이 뒤섞여 있었습니다. AI가 학습한 것과 동일한 데이터로 테스트했을 때, AI는 거의 완벽한 정확도(오차율 2% 미만)로 가짜를 찾아내며 슈퍼스타가 되었습니다. 하지만 연구진이 AI에게 본 적 없는 새로운 환경에서 가짜를 찾아내라고 요청하자, 성능이 폭락했습니다. 오차율은 20%에서 43% 사이로 치솟았는데, 이는 동전 던지기로 맞히는 것과 별반 다를 바 없는 수준이었습니다. 논문은 LoRA가 특정 작업에 모델을 다듬는 데는 훌륭하지만, 서로 다른 세계에서 작동하는 AI를 만드는 근본적인 문제를 해결하기에는 부족하다는 결론을 내립니다. 모델의 크기보다 모델의 '두뇌'가 더 중요하며, 모델이 학습한 데이터가 훨씬 더 중요하다는 것입니다.

스마트한 로봇과 교활한 가짜들의 이야기

이 모험 속으로 들어가 봅시다. 과학자들은 간단한 질문을 던지며 시작했습니다: 약간의 추가 학습(LoRA)이 이 거대한 AI 두뇌들을 어디에서나 얼굴 가짜를 찾아낼 수 있을 만큼 견고하게 만들기에 충분할까?

이를 알아내기 위해 그들은 거대한 토너먼트를 준비했습니다. 그들은 32가지 서로 다른 '비전 인코더(Vision Encoders)'를 모았습니다. 이것들은 AI의 눈이며, 실제로 이미지를 보는 부분입니다. 이 눈들 중 일부는 이미지만으로 학습된 모델에서 왔고, 다른 것들은 이미지와 텍스트를 동시에 보고 읽을 수 있는 거대 '시각-언어 모델(VLM)'에서 추출한 '비전 타워'였습니다. 그들은 또한 9개의 거대 VLM을 '제로샷(zero-shot)' 모드로 테스트했습니다. 제로샷은 학생에게 주제를 미리 공부할 기회를 주지 않고 시험지를 건네주는 것과 같습니다. 그저 "이것이 진짜 얼굴인가요, 아니면 가짜인가요?"라고 묻고 그 대답을 보는 것입니다.

제로샷의 놀라움
먼저, 그들은 제로샷 접근 방식을 시도했습니다. 그들은 거대 VLM들에게 마치 선생님이 질문을 던지듯 단순한 프롬프트를 사용하여 가짜를 찾아내라고 요청했습니다. 결과는 어땠을까요? AI는 완전히 길을 잃었습니다. AI는 약 50%의 정확도를 보였는데, 이는 동전을 던져 앞면이나 뒷면을 맞히는 확률과 같습니다. 수십억 개의 파라미터를 가진 가장 똑똑하고 비싼 모델들조차 특정 학습 없이는 문제를 해결할 수 없었습니다. 이는 단순히 똑똑한 두뇌를 갖는 것만으로는 부족하며, 그 두뇌가 가짜를 찾아내는 작업에 맞게 특별히 조정되어야 함을 연구진에게 알려주었습니다.

LoRA의 마법 (그리고 그 한계)
다음으로, 그들은 LoRA 방식을 시도했습니다. 그들은 이 32개 모델의 고정된 눈에 저 작고 조절 가능한 훈련용 목줄을 채웠습니다. 그들은 네 가지 서로 다른 데이터셋(다양한 카메라와 조명으로 촬영된 얼굴 사진 모음)을 통해 이들을 학습시켰습니다.

• 좋은 소식: AI를 학습했던 것과 동일한 데이터셋으로 테스트했을 때, 결과는 놀라웠습니다. 대부분의 모델은 오차율이 2% 미만으로 떨어졌습니다. CLIP ViT-B/32 같은 모델은 0.3%까지 낮아지기도 했습니다. 마치 AI가 특정 방을 위한 명탐정이 된 것 같았습니다.
• 나쁜 소식: AI를 다른 데이터셋(다른 방, 다른 카메라)으로 옮기자, 마법은 사라졌습니다. 오차율은 19.8%에서 42.6% 사이로 급등했습니다.

연구진은 LoRA가 매우 유능한 재단사처럼 행동하고 있다는 것을 깨달았습니다. LoRA는 단추를 몇 개 조절함으로써 한 사람(하나의 데이터셋)에게 딱 맞는 옷을 완벽하게 맞출 수 있습니다. 하지만 단추를 조절한다고 해서 그 옷을 완전히 다른 사람(다른 데이터셋)에게 맞게 만들 수는 없습니다. 옷은 여전히 첫 번째 사람의 체형에 맞춰져 있기 때문입니다.

크기는 중요하지 않다 (그다지)
AI 분야의 흔한 믿음은 "클수록 좋다"는 것입니다. 연구진은 작은 모델과 거대한 모델을 비교함으로써 이를 테스트했습니다. 그들은 0.09억 개의 파라미터만 가진 상대적으로 작은 모델인 CLIP ViT-B/32가 80억 개 이상의 파라미터를 가진 일부 거대 모델보다 실제로 더 나은 성능을 보인다는 것을 발견했습니다. 사실, 이 작은 CLIP 모델은 서로 다른 데이터셋을 넘나드는 데 있어 가장 뛰어난 모델 중 하나였던 반면, 5.54 миллиар데 파라미터를 가진 InternViT-6B라는 거대 모델은 데이터셋 간의 격차를 극복하는 데 있어 최악의 모델 중 하나였습니다.

이는 모델이 원래 받았던 학습의 유형이 모델의 크기보다 훨씬 더 중요하다는 것을 시사합니다. '대조 학습(contrastive methods, 이미지와 그 텍스트 설명을 매칭하는 법을 배우는 것)'이나 '자기 증류(self-distillation, 자신과 일관성을 유지하는 법을 배우는 것)' 방식으로 학습된 모델이, 단순히 그림의 빈 부분을 채우는 방식으로 학습된 모델보다 더 효과적이었습니다.

"데이터 식단"이 중요하다
연구팀은 또한 모델들이 원래 학습 과정에서 얼마나 많은 데이터를 먹었는지도 살펴보았습니다. 그들은 '웹 스케일(web-scale)' 식단(인터넷의 수십억 개 이미지)을 섭취하는 것이 좋은 결과를 얻기 위해 필요하지만, 그 이상을 먹는 것은 큰 도움이 되지 않는다는 것을 발견했습니다. 일단 모델이 인터넷의 내용을 충분히 섭식하고 나면, 데이터를 더 추가한다고 해서 새로운 장소에서 가짜를 찾아내는 능력이 더 좋아지지는 않았습니다. 이는 도서관의 모든 책을 읽은 학생과 같습니다. 책을 몇 권 더 읽는다고 해서 갑자기 특정 새로운 주제에 대해 천재가 되지는 않습니다.

숨겨진 단서: "방"인가 "얼굴"인가
가장 흥미로운 발견은 AI가 사진을 어떻게 '보는지'를 관찰하는 과정에서 나왔습니다. 연구진은 AI의 내부 생각을 시각화하기 위해 t-SNE라는 기법을 사용했습니다. 그들은 LoRA 학습 후에도 AI가 무엇을 보고 있는지(실제인지 가짜인지)보다는 어디에서 찍혔는지(데이터셋)를 기준으로 사진을 분류하고 있다는 것을 발견했습니다.
당신이 사진 더미를 "실제 사람"과 "가짜 사람"으로 분류하려고 한다고 상상해 보세요. 그런데 AI는 계속해서 사진을 "실험실에서 찍은 사진"과 "거리에서 찍은 사진"으로 분류하고 있습니다. LoRA 학습은 AI가 "실험실" 사진을 완벽하게 분류하도록 도와주었지만, "거리" 사진을 보았을 때는 여전히 "실험실"의 단서를 찾고 있었기 때문에 혼란에 빠졌습니다. AI는 '가짜 얼굴'이라는 보편적인 개념을 배운 것이 아니라, 단지 학습한 방의 특정한 조명과 카메라의 특징을 인식하는 법을 배운 것이었습니다.

결론
논문은 LoRA 적응(adaptation)만으로는 교차 데이터셋 얼굴 탐지 문제를 해결하기에 충분하지 않다고 결론짓습니다. LoRA는 모델이 학습한 환경 내에서는 믿기 힘들 정도로 정확하게 만들지만, 새로운 카메라, 새로운 조명, 또는 새로운 공격 방식을 다룰 수 있을 만큼 견고하게 만드는 데는 실패합니다. 저자들이 모델이 두 가지 시나리오 모두에서 얼마나 잘 작동하는지 측정하기 위해 새로 만든 지표인 '일반화 점수(generalization score)'는, 가장 우수한 모델들조차 그 격차를 메우기 위해 여전히 고군분토하고 있음을 보여주었습니다.

저자들은 문제가 모델의 크기나 LoRA 기술의 영리함에 있는 것이 아니라고 제안합니다. 문제는 모델들이 여전히 그들이 학습한 데이터의 특정 '풍미(flavor)'에 너무 의존하고 있다는 점입니다. 이를 진정으로 해결하려면, 모델을 처음부터 다시 학습시키는 방식, 즉 모델이 '방'을 무시하고 오직 '얼굴'에만 집중하도록 가르치거나, AI가 특정한 습관이 아닌 보편적인 규칙을 배우도록 강제하는 다양한 학습 전략을 사용해야 할 수도 있습니다.

요약하자면, 우리는 자신의 관할 구역에서는 천재적이지만, 문밖을 나서는 순간 길을 잃는 AI 형사들을 만들어낸 것입니다. 작은 LoRA 목줄은 그들이 조금 더 잘 걷도록 도와줄 수는 있지만, 세상 전체를 위한 지도를 제공해주지는 못합니다.