기술적 요약: AI 보안 연구는 방어 연구를 더 잘 장려해야 합니다

문제 제기

이 논문은 인공지능 (AI) 보안 연구 분야에서 구조적 불균형을 지적합니다. 즉, 취약점을 식별하고 증명하는 '공격 연구'에 비해 보호 장치를 개발하고 검증하는 '방어 연구'에 대한 비중이 불균형하게 높다는 것입니다. 두 가지 모두 필수적이지만, 저자들은 현재 문헌이 "증명된 취약점은 풍부하지만 실용적이고 배포된 보호 장치는 빈약하다"고 주장합니다. 이러한 불균형은 단순한 양적 격차가 아니라, 공격 논문은 위협을 과장하는 유리한 조건 하에서 평가되는 반면, 방어 논문은 더 엄격하고 종종 비현실적인 기준에 따라 평가되는 더 깊은 문제를 반영합니다. 저자들은 이러한 편향이 방어적 진보의 구조적 지연을 시사한다고 보며, 이는 사회적 영향이 취약점 발견뿐만 아니라 완화 능력에 점점 더 의존하는 분야로서 문제적입니다.

방법론

이 불균형을 정량화하고 분석하기 위해 저자들은 기존 지식 체계화 (SoK) 논문과 서베이 논문을 기반으로 한 문헌계량적 접근법을 사용했습니다.

1. 데이터 수집:
   • 핵심 코퍼스: 저자들은 최상위 보안 및 프라이버시 학회 (USENIX Security, IEEE S&P, IEEE SaTML) 에서 16 편의 SoK 논문을 수집했습니다. 이 논문들은 성숙한 연구 분야를 종합하고 맥락화하는 역할을 했기 때문에 선정되었습니다.
   • 확장 코퍼스: 범위를 넓히기 위해 멤버십 추론 공격 (MIA), 적대적 예시, 대규모 언어 모델 (LLM), 모델 도용, 연방 학습 (FL), 음성 인식, 딥페이크, 머신 언러닝 등 특정 하위 분야를 다루는 21 편의 추가 서베이 논문이 포함되었습니다.
2. 분류 프로토콜:
   • 이러한 논문들의 인용문은 수동으로 '공격', '방어', 또는 '기타'로 분류되었습니다.
   • 공격: 취약점을 악용하는 방법을 식별, 증명, 개선 또는 평가하는 것을 주요 기여로 하는 논문.
   • 방어: 이러한 취약점을 방지, 탐지, 완화 또는 인증하는 것을 주요 기여로 하는 논문.
   • 기타: 서베이, 벤치마크, 데이터셋, 그리고 주요 공격 또는 보호 기여가 없는 논문 (비율 분석에서 제외됨).
   • 모호한 사례는 초록을 참조하거나 지배적인 기여의 라벨을 할당하여 해결되었습니다.
3. 데이터 처리:
   • 학회는 '보안', 'AI', '프리프린트', '기타'의 네 가지 범주로 정규화 및 그룹화되었습니다.
   • 고유한 계산을 보장하기 위해 제목 기반 중복 제거가 수행되었습니다.
   • 최종 SoK 코퍼스에는 644 개의 고유한 공격 논문과 518 개의 고유한 방어 논문이 포함되었습니다.

주요 기여

이 논문의 주요 기여는 AI 보안 지형 전반에 걸친 공격 - 방어 불균형에 대한 anecdotal 증거를 넘어 체계적인 분석으로 이동한 엄격하고 데이터 기반의 특성화입니다. 이는 다음을 제공합니다:

• 정량적 증거: 다양한 하위 분야, 학회, 시기에 따른 구체적인 공격 - 방어 비율.
• 구조적 분석: 이 불균형이 존재하는 '이유'를 규명하며, 참신성, 평가, 출판, 비용/복잡성이라는 네 가지 주요 비대칭성을 식별합니다.
• 중요한 반론: (연구 분야가 아직 발견 단계에 있거나 병목 현상이 연구량이 아닌 전환에 있다는 등) 대안적 견해에 대한 미묘한 논의와 이러한 견해들이 방어 인센티브 개선의 필요성을 완전히 부정하지 않는 이유.

결과

1. 정량적 불균형

• SoK 코퍼스: 1,162 개의 분류된 인용문을 다루는 16 편의 SoK 논문 전반에 걸쳐 공격 논문이 방어 논문보다 1.24:1의 비율로 많았습니다.
• 서베이 코퍼스: 21 편의 추가 서베이 논문에서 평균 공격 - 방어 비율은 2.15:1이었습니다.
• 하위 분야 변동: 불균형은 균일하지 않습니다.
  • 높은 불균형: 특정 공격 클래스 (예: 블랙박스 적대적 공격, 데이터 추론 프라이버시, LLM 멤버십 추론) 에 초점을 맞춘 하위 분야는 극단적인 편향을 보였으며, 비율은 3.69 배에서 34.40 배까지 다양했습니다.
  • 방어 중점 영역: 방어 메커니즘 (예: 차등 프라이버시, 인증된 견고성) 을 중심으로 조직된 SoK 는 자연스럽게 방어 논문을 더 많이 포함했지만, 광범위한 위협 지형 조사에서는 이러한 사례가 예외일 뿐 일반적이지 않았습니다.

2. 학회 분포

• 보안 학회: 공격에 대한 강한 편향을 보입니다 (2.10:1 비율). USENIX Security(3.50 배) 와 IEEE S&P(3.00 배) 와 같은 주요 학회는 공격 지향적 기여를 강력하게 선호합니다.
• AI 학회: 훨씬 더 균형을 이룹니다 (1.12:1). NeurIPS, AAAI, ICLR, ICML 과 같은 학회는 실제로 공격 논문보다 방어 논문을 더 많이 포함합니다.
• 컴퓨터 비전: AI 내의 주목할 만한 예외로, 비전 학회 (CVPR, ICCV, ECCV) 는 극단적인 공격 편향 (최대 17.00 배) 을 보여줍니다. 이는 적대적 예시 문헌의 역사적 지배력을 반영합니다.

3. 시간적 추세

• 2010 년부터 2015 년까지 공격 및 방어 수는 낮고 상대적으로 균형을 이루었습니다.
• 2016 년경부터 궤적이 갈라지기 시작하여 공격 논문이 방어 논문보다 일관되게 많았습니다.
• 2017 년에서 2022 년 사이 격차가 크게 벌어졌으며 2021 년에 정점을 찍었습니다. 2022 년 이후 apparent 한 축소 현상은 연구 산출물의 진정한 수렴이 아니라 SoK 출판물의 인용 지연 때문입니다.

4. 방어 연구를 위한 식별된 딜레마

이 논문은 방어 연구를 비장려하는 네 가지 구조적 비대칭성을 개요로 제시합니다:

• 참신성 비대칭: 새로운 실패 모드 (공격) 를 증명하는 것은 종종 출판에 충분하지만, 적응형 적대자에 대해 방어가 효과적임을 입증하는 것은 훨씬 더 높은 기준입니다.
• 평가 비대칭: 공격은 종종 유리하고 구체적인 조건 (예: 배치 크기 = 1) 하에서 평가되는 반면, 방어는 모델, 데이터셋, 공격자 적응 전반에 걸쳐 보편적으로 견고할 것으로 기대됩니다.
• 출판 비대칭: 공격 논문은 '시스템 실패'라는 매력적인 서사를 따르는 반면, 방어 논문은 '모든 공격을 견딤'이라는 취약한 주장에 의존하며, 이는 검증하기 어렵고 반전되기 쉽습니다.
• 비용 및 복잡성 비대칭: 공격은 종종 상용 하드웨어를 갖춘 학술 실험실 환경에서 증명할 수 있는 반면, 효과적인 방어는 산업 규모의 엔지니어링, 하드웨어 재설계, 또는 복잡한 통합을 필요로 하여 학술 논문의 일반적인 범위를 벗어납니다.

중요성과 주장

이 논문은 관찰된 불균형이 단순한 '주제적 격차'가 아니라 불균형된 인센티브 구조의 증상이라고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 시정 필요성: 이 분야는 단순히 논문을 세는 것을 넘어 취약점 발견보다 완화 조치를 체계적으로 보상하는 인센티브를 시정해야 합니다.
2. 1 급 기여로서의 방어: 방어 연구는 공격 연구와 동일한 엄격함과 인정을 요구하는 '1 급 과학적 기여'로 취급되어야 합니다.
3. 출판 수를 넘어: 이 논문은 더 많은 방어 연구를 요구하지만, 병목 현상이 연구량이 아닌 '전환'—방어의 엔지니어링, 배포, 조직적 채택—에 있을 수도 있음을 인정합니다. 따라서 행동 호소는 현실적인 평가, 배포 경로, 완화 지향적 작업을 위한 제도적 지원을 포함한 '방어 역량'에 대한 보다 광범위한 투자를 요구하는 것입니다.
4. 분야의 성숙도: 성숙한 보안 분야는 시스템이 어떻게 실패하는지 보여주는 데 능숙할 뿐만 아니라 시스템을 안전하게 만드는 견고한 방법을 구축, 검증, 공유할 수 있어야 합니다.

저자들은 공격 연구가 위협을 매핑하는 데 여전히 필수적이지만, 현재의 궤적은 분야가 취약점에 대한 깊은 이해는 남기지만 실제로 AI 시스템을 효과적으로 보호하는 방법에 대한 피상적인 이해만 남길 위험이 있다고 결론지었습니다.