기술 요약: 작은 모델, 거대한 위협

문제 정의

현재의 AI 거버넌스 프레임워크와 정책적 개입은 주로 컴퓨팅 임계값(예: 학습 또는 추론을 위한 총 FLOPs)에 의존하여 체계적 위험을 식별하고 규제합니다. 미국의 반도체 수출 통제나 EU AI 법안과 같은 정책들은 고성능 하드웨어 및 대규모 학습 실행에 대한 접근을 제한하는 데 집중하고 있습니다. 그러나 본 논문은 이러한 프레임워크가 심각한 사회적 해악 캠페인을 실행할 수 있을 만큼 충분히 강력해지고 있음에도 불구하고, 소비자용 하드웨어에서 구동 가능하며 현재의 컴퓨팅 기반 정책으로는 거의 규제되지 않는 저컴퓨팅 AI 모델(본 논문에서는 파라미터 300억 개 미만의 시스템으로 정의)이라는 결정적인 보안 사각지대를 생성한다고 주장합니다.

핵심 문제는 **첨단 역량의 확산(diffusion of advanced capabilities)**이 더 작고 압축된 모델로 전이되고 있다는 점입니다. 파라미터 양자화(quantization), 에이전트 워크플로우(agentic workflows), 모델 압축 기술에 힘입어, 과거 프런티어급 시스템에서만 독점적이었던 역량들이 이제는 최소한의 계산 자원을 가진 행위자들에게도 접근 가능해졌습니다. 결과적으로, "컴퓨팅 계량(compute metering)" 방식의 안전 관리법은 실제 위험을 나타내는 매우 부적절한 대리 지표가 되어가고 있습니다.

방법론

저자들은 저컴퓨팅 모델의 궤적과 이를 무기화하는 데 필요한 자원을 규명하기 위해 다각적인 정량적 접근 방식을 채택하였습니다:

1. 역사적 성능 분석:

   • HuggingFace에 호스팅된 **5,000개 이상의 오픈 소스 대규모 언어 모델(LLM)**의 벤치마크 데이터를 다운로드하여 분석했습니다.
   • 종합 모델 성능($\alpha$)을 여섯 가지 벤치마크(IFEval, BBH, MATH, GPQA, MUSR, MMLU-PRO)의 평균 점수로 정의했습니다.
   • 모델 크기(FP16 정밀도)와 성능 간의 관계를 추적하였으며, 특정 성능 임계값에 도달하기 위해 필요한 모델 크기가 어떻게 줄어들었는지 확인하기 위해 지수적 감소 곡선을 피팅했습니다.

2. 하드웨어 진화 분석:

   • 데이터 센터용 GPU(NVIDIA)와 소비자용 기기(Apple MacBook)의 처리 능력(FP32 FLOPS) 및 메모리 대역폭을 시기별로 비교하여 추론 역량의 접근성을 평가했습니다.

3. 사회적 해악 캠페인 시뮬레이션:

   • 디지털 해악의 전형적인 역사적 사례들을 선정했습니다: 디스인포메이션 봇넷(예: 브렉시트), 비즈니스 이메일 침해(BEC) 스피어 피싱, 음성 복제 사기, 딥페이크/섹스토션(예: DeepNude).
   • 이러한 캠페인들을 구성 요소별 생성 작업(텍스트, 이미지, 오디오)으로 분해했습니다.
   • nvprof 프로파일러를 사용하여 NVIDIA V100 GPU 환경에서 각 작업에 필요한 계산 워크로드를 프로파일링했습니다. 프로파일링된 모델에는 Microsoft Phi-2, Mistral-7B, Stable Diffusion XL, Meta MMS-TTS, OpenAI Whisper가 포함되었습니다.
   • 캠페인의 규모(예: 게시물 수, 지속 시간), 모델 크기, 생성 파라미터의 불확실성을 고려하기 위해 몬테카를로 시뮬레이션을 수행했습니다.
   • 메모리 대역폭 및 처리 능력의 상한선과 하한선을 설정하였으며, 모델링되지 않은 추론 단계 등을 고려하여 보수적인 조정(예: 10배 가중치 추가)을 적용했습니다.

4. 양질의 워크로드와의 비교:

   • 공격 차단을 위해 컴퓨팅 임계값을 낮추는 것이 적법한 사용 사례를 방해하게 되는지 확인하기 위해, 표준적인 학술 및 상업적 AI 워크로드(자율 주행 차량의 객체 인식, AlphaFold 단백질 구조 예측, 콜센터 전사, 스팸 탐지, 추천 엔진 학습)를 프로파일링했습니다.

주요 결과

1. 역량의 급격한 소형화

• 10배의 압축: 경쟁력 있는 벤치마크 점수($\alpha = 0.35$)를 달성하는 데 필요한 모델 크기가 지난 1년 동안 약 10배 감소했습니다.
• 성능 수렴: 고정된 크기의 모델들(예: Llama 제품군 내 모델)은 시간이 지남에 따라 꾸준한 성능 향상을 보였으며, 서로 다른 크기의 모델들이 유사한 종합 성능 점수(~45%)로 수렴하는 경향을 보였습니다.
• 비용 절감: 동등한 역량에 접근하는 비용이 크게 낮아졌습니다(예: GPT-4.1은 이전 버전의 GPT-4와 대등한 성능을 제공하면서 비용은 약 15배 낮음). 이는 악의적인 행위자의 진입 장벽을 더욱 낮춥니다.

2. 소비자용 하드웨어에서의 실행 가능성

• 소비자급 하드웨어 실행: 시뮬레이션 결과, 연구된 거의 모든 사회적 해악 캠페인(디스인포메이션, 스피어 피싱, 음성 복제, 딥페이크)은 수출 통제 대상이 아닌 소비자용 하드웨어에서 실행될 수 있음을 보여줍니다.
• 하드웨어 충분성: 이러한 공격에 필요한 계산 자원은 Apple M2 Ultra 및 NVIDIA V100과 같은 기기의 성능 범위 내에 있습니다.
• 클러스터 접근성: 중고 시장에서 수천 달러에 구입 가능한 단 10개의 V100 칩으로 구성된 클러스터만 있어도 고려된 모든 위협 캠페인의 추정 계산 상한치를 초과할 수 있습니다.

3. "컴퓨팅 임계값"의 딜레마

• 적법한 사용과의 중첩: 시뮬레이션된 해악 캠페인을 실행하는 데 필요한 컴퓨팅 자원은 종종 양질의 유익한 워크로드(예: AlphaFold 단백질 구조 예측 또는 딥러닝 추천 엔진 학습)에 필요한 자원보다 낮거나 비슷합니다.
• 정책적 트레이드오프: 저컴퓨팅 공격을 막기 위해 컴퓨팅 임계값을 무작정 낮추면, 유익한 학술 연구 및 상업적 응용 분야를 심각하게 저해할 수 있습니다. 왜냐하면 "안전한" 컴퓨팅 예산이 정교한 저컴퓨팅 공격에 필요한 "위험한" 예산보다 더 크기 때문입니다.

주요 기여

• 역량 확산에 대한 실증적 증거: 본 논문은 프런티어 모델과 저자원 모델 사이의 격차가 빠르게 좁혀지고 있음을 보여주는 정량적 데이터를 제공함으로써, 작은 모델이 본질적으로 안전하다는 가정이 유효하지 않음을 입증했습니다.
• 공격의 계산 프로파일링: 복잡하고 다단계적인 사회적 해악 캠페인을 실행하는 데 필요한 구체적인 메모리 대역폭 및 FLOP 요구 사항에 대한 최초의 상세한 분석을 제공합니다.
• 컴퓨팅 중심 거버넌스 비판: 컴퓨팅 자원이 고성능 인프라 없이도 위협 캠페인을 실행하는 데 충분하다는 점을 실증적으로 보여줌으로써, 컴퓨팅 기반의 정책이 위험의 적절한 대리 지표가 될 수 없음을 입증했습니다.

의의 및 주장

본 논문은 현재의 AI 발전 궤적이 기존 거버넌스 패러다임에 근본적인 도전을 제기한다고 주장합니다. 저자들의 주장은 다음과 같습니다:

1. 보안 허점 존재: 고컴퓨팅 모델을 보호하기 위해 설계된 조치들은 점점 더 위험해지고 있는 저컴퓨팅 모델에 대한 심각한 보안 공백을 남깁니다.
2. 재평가의 시급성: 정책 입안자와 기술자들은 단순한 컴퓨팅 기반 지표를 넘어 신속하게 전환해야 합니다. 본 논문은 하드웨어 요구 사항이 아닌, 입증된 유해한 능력(예: 설득력, 기만성)을 기준으로 시스템을 평가하는 **역량 기반 위험 평가(capability-based risk evaluations)**를 옹호합니다.
3. 정교한 프레임워크의 필요성: 효과적인 거버넌스는 컴퓨팅 요구 사항과 함께 역량, 의도, 그리고 해악의 잠재력을 고려하는 프레임워크를 필요로 합니다. 저자들은 컴퓨팅 기반 정책이 공격의 규모를 제한할 수는 있지만, 고영향·저자원 공격의 시작을 막는 데는 실패할 것임을 시사합니다.

결론적으로, 모델의 소형화가 가속화됨에 따라, 거대 컴퓨팅 클러스터에 대한 접근을 제한하는 것에서 벗어나 접근 가능하고 가벼우며 매우 유능한 AI 시스템이 초래할 수 있는 구체적인 위험을 다루는 전략으로 초점을 옮겨야 합니다.