The Case for ESM3 as a General-Purpose AI Model with Systemic Risk Under the EU AI Act

기술 요약: EU AI 법 하에서 체계적 위험을 가진 범용 AI 모델로서의 ESM3 사례

문제 제기
본 논문은 진화적 규모 모델링 버전 3 (ESM3) 을 포함한 최첨단 생물학적 기반 모델과 관련하여 유럽연합의 AI 법 내에 존재하는 중요한 규제 사각지대를 식별합니다. 해당 법안은 생물학적 무기 개발과 같은 이중 사용 위험을 포함한 범용 AI(GPAI) 와 관련된 체계적 위험을 완화하는 것을 목표로 하지만, 현재 정의와 지원 지침은 비언어적 생물학 모델을 배제하는 것으로 보입니다. 저자들은 ESM3 이 생물학적 무기 개발의 진입 장벽을 낮출 잠재력을 지녔음에도 불구하고, '범용성'의 지표로서 인간 언어에 지나치게 의존하는 좁은 기준 때문에 GPAI 분류 요건을 충족하지 못할 수 있다고 주장합니다. 이로 인해 상당한 생물학적 위험 (biorisk) 증대 능력을 가진 모델이 체계적 위험을 가진 모델에게 요구되는 의무적 위험 평가 및 완화 의무 (제 55 조) 에서 면제되는 상황이 발생합니다.

방법론
저자들은 오픈소스 (14 억 파라미터) 와 게이트형 (70 억 및 980 억 파라미터) 변형으로 제공되는 생물학적 기반 모델 계열인 ESM3 을 중심으로 한 정성적 사례 연구 접근법을 사용합니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. 생물학적 위험 사슬 매핑: 저자들은 ESM3 의 구체적 기능 (서열 생성, 구조 예측, 역접힘, 기능적 주석) 을 7 단계 '생물학적 위험 사슬' (의도, 아이디어 구상, 설계, 학습, 구축, 무기화, 방출) 에 매핑합니다. 그리고 '확률 자 (Probability Yardstick)' 프레임워크를 활용하여 ESM3 이 악의적 행위자에게 이 사슬의 특정 단계를 더 쉽게 만들 가능성에 대해 주관적으로 평가합니다.
2. 규제 텍스트 분석: 논문은 EU AI 법, 특히 '범용 AI'(제 3 조 63 항) 와 '체계적 위험'(제 3 조 65 항) 의 정의에 대한 상세한 법적 분석을 수행합니다. 이는 유럽위원회의 비구속력 '범용 AI 지침 (GPAI 지침)'과 해당 법령 텍스트를 교차 참조합니다.
3. 격차 식별: 저자들은 모델이 현재 규제 감독 하에 있는지 여부를 판단하기 위해 ESM3 의 기술적 속성 (컴퓨팅 사용량, 모달리티, 작업 다양성) 을 법과 지침에 명시된 분류 기준과 비교합니다.

주요 기여
본 논문은 AI 안전 및 거버넌스 분야에 세 가지 구체적인 기여를 합니다:

1. 정성적 매핑: ESM3 의 기능을 생물학적 위험 사슬에 상세히 매핑하여, 해당 모델이 특히 생물학적 구성 요소의 효율적인 테스트 및 생산을 가능하게 함으로써 생물학적 공격의 7 가지 핵심 단계 중 4 가지 (설계, 학습, 구축, 무기화) 를 잠재적으로 용이하게 할 수 있음을 보여줍니다.
2. 규제 사각지대 식별: 저자들은 규제 격차가 두 가지 출처에 의해 강화됨을 입증합니다. 하나는 '중요한 범용성'에 관한 AI 법 법령 텍스트의 모호함이며, 다른 하나는 범용성의 정의를 인간 언어 (텍스트, 오디오, 이미지, 비디오) 생성이 가능한 모델로 제한하는 GPAI 지침의 좁은 해석입니다.
3. 정책적 해결책: 논문은 ESM3 및 유사한 생물학적 모델의 규제 상태를 시정하기 위한 네 가지 잠재적 해결책을 제안합니다:
   • 고영향 능력에 기반하여 제 3 조 63 항과 제 51 조 1 항 (b) 을 사용하여 ESM3 을 체계적 위험을 가진 GPAI 모델로 직접 지정.
   • 단백질 생물학과 같은 도메인 특이적 범용성을 포함하도록 인간 언어를 넘어선 모달리티 기준을 확대하기 위한 GPAI 지침 개정.
   • 체계적 위험 지정을 GPAI 지위와 분리하기 위한 입법적 개정.
   • EU 의 이중 사용 수출 통제 체제 및 신흥 생물 안보 정책과 같은 보완적 수단의 활용.

결과
분석은 EU AI 법과 GPAI 지침의 현재 해석 하에서 ESM3 은 의미 있는 규제를 받지 않는 것으로 결론지었습니다.

• GPAI 분류: ESM3 은 컴퓨팅 임계값 (1.07 × 10^24 FLOPs) 을 초과하고 단백질 생물학 분야에서 '중요한 범용성'을 입증했음에도 불구하고, GPAI 지침의 '언어 생성'(인간 텍스트 또는 오디오) 에 대한 구체적 요구 사항을 충족하지 못합니다. 지침은 날씨나 물리 시스템과 같은 특정 도메인을 위해 훈련된 모델을 명시적으로 제외하며, ESM3 의 인간 언어 입력 부재는 이를 현재 범위 밖으로 배치합니다.
• 체계적 위험: 법안의 전문 (recitals) 은 화학, 생물, 방사선, 핵 (CBRN) 위험과 무기 개발 장벽의 하향을 인정하지만, 모델을 체계적 위험을 가진 것으로 분류하는 메커니즘은 먼저 GPAI 모델로 분류되는 것에 달려 있습니다. ESM3 이 언어 요구 사항으로 인해 GPAI 테스트를 통과하지 못할 가능성이 높기 때문에, 이중 사용 위험 완화를 의무화하는 체계적 위험 조항 (제 55 조) 을 발동할 수 없습니다.
• 생물학적 위험 영향: 매핑은 ESM3, 특히 오픈소스 변형에 대한 접근이 자원이 제한된 행위자에게 생물학적 공격의 설계 및 무기화 단계를 더 접근 가능하게 만들어 생물학적 위험 사슬을 실질적으로 단축할 수 있음을 확인시켜 줍니다.

의의
본 논문은 현재 규제 체계가 공중보건과 안보에 실제적인 체계적 위험을 제기하는 최첨단 생물학적 도구가 안전 의무에서 면제되는 위험한 구멍을 만들고 있다고 주장합니다. 저자들은 EU 의 규제 접근 방식이 '브뤼셀 효과'를 통해 다른 관할권에 영향을 미칠 가능성이 높음을 강조합니다. 따라서 이 모호성을 시정하는 것은 EU 준수를 위한 것뿐만 아니라 글로벌 거버넌스 표준을 위해 중요합니다. 논문은 자연어를 범용성의 주요 지표로 의존하는 것이 AI 법의 체계적 위험 조항의 효과성을 저해하여, 이를 실질적으로 대규모 언어 모델 (LLM) 에만 국한시키고 강력한 생물학적 기반 모델을 규제 없이 방치한다고 주장합니다. 저자들은 고능력 생물학적 모델이 적절한 이중 사용 위험 평가의 대상이 되도록 하기 위해 제 51 조 1 항 (b) 을 활용한 직접 지정이나 지침 개정과 같은 즉각적인 조치가 필요하다고 결론지었습니다.