닫힌 AI (Closed): 식당 주인이 "내 요리는 맛있다"고만 말하고, **비밀 레시피 (모델 가중치)**는 절대 공개하지 않는 경우입니다. (예: OpenAI 의 GPT 시리즈)
열린 AI (Open-Weight): "이 요리의 완벽한 레시피를 다 공개할 테니, 누구나 집에서 따라 해보고 변형해서 만들어 보세요!"라고 하는 경우입니다. (예: DeepSeek, Meta 의 Llama)
이 보고서는 **"레시피를 공개하는 것 자체가 나쁜 것은 아니지만, 그 레시피가 너무 강력해서 누군가 독극물을 만들 수도 있다면? 그걸 그냥 아무에게나 다 줘도 될까?"**라고 묻습니다.
🌍 문제점: "한 번 내보내면 다시는 못 뺏어오는 레시피"
보고서는 다음과 같은 위험을 지적합니다.
되돌릴 수 없는 일: 레시피 (모델 가중치) 를 한 번 인터넷에 올리면, 누군가 복사해서 다시는 막을 수 없습니다.
방어벽 뚫기: 원래 개발자가 "이 레시피로 독을 만들지 마세요"라고 경고문을 달아놔도, 해커나 악의적인 사람은 그 경고를 무시하고 레시피를 변형해 (Jailbreaking) 위험한 것을 만들 수 있습니다.
실수할 수도 있음: 선의의 연구자가 실수로 레시피를 수정하다가, 의도치 않게 위험한 기능을 만들어낼 수도 있습니다.
현재는 "열린 것"과 "닫힌 것" 중 하나만 고르라는 식인데, 이는 마치 **"폭탄을 만들 수 있는 공장을 완전히 공개할지, 아니면 아예 문을 닫을지"**만 고르는 것과 같습니다. 하지만 그 사이에는 "안전한 공장에서만 특정 허가받은 사람만 볼 수 있게 공개하는" 중간 단계가 필요합니다.
💡 해결책: "안전 등급에 따른 단계별 공개 (Tiered Approach)"
이 보고서는 **"모든 AI 를 다 공개하거나, 다 숨기는 게 아니라, 위험도에 따라 공개 정도를 조절하자"**고 제안합니다.
1. 안전 등급을 매기자 (Safety-First)
초등학생용 (저위험): 간단한 수학 문제를 푸는 AI 는 누구나 레시피를 가져가도 됩니다.
대학생용 (중위험): 복잡한 코딩을 도와주는 AI 는 검증된 연구자나 대학에만 공개하고, 일반인은 웹사이트에서만 쓸 수 있게 합니다.
전문가용 (고위험): 생물학적 무기나 사이버 공격을 쉽게 만들 수 있는 AI 는 레시피를 아예 공개하지 않거나, 국가 안보 기관의 허가 없이는 절대 풀지 않습니다.
2. 누가 무엇을 해야 할까? (주체별 역할)
개발자 (요리사): "우리가 만든 레시피가 위험할 수 있으니, 먼저 안전 장치를 설치하고 테스트해라." (예: 독을 만들면 작동하지 않도록 잠금 장치 달기)
평가단 (식중독 검사관): 각국 정부나 전문가 기관이 "이 레시피로 독을 만들 수 있는가?"를 철저히 검사해야 합니다.
정부 (경찰 & 소방서): 레시피가 유출되어 사고가 났을 때, 이를 감지하고 대응할 시스템을 미리 갖춰야 합니다. (예: AI 가 만든 가짜 뉴스나 해킹 코드를 찾아내는 팀)
시민 (소비자): "AI 가 뭐가 가능한지, 어떤 위험이 있는지"에 대해 교육을 받아야 합니다. (예: AI 가 만든 가짜 영상을 구별하는 법 배우기)
🌟 결론: "열리는 문은 안전해야 한다"
이 보고서의 핵심 메시지는 **"열린 AI 가 무조건 나쁜 것은 아니다. 하지만 안전하지 않은 AI 를 함부로 열어두는 것은 무책임한 일이다"**입니다.
우리는 AI 의 혁신이라는 보물을 얻기 위해 문을 열어야 하지만, 그 문이 열릴 때는 **"이 문 뒤에 위험한 괴물이 없도록 철저히 확인하고, 필요한 경우 자물쇠를 채우는 것"**이 진정한 지혜입니다.
한 줄 요약:
"AI 의 레시피를 모두 공개하자는 '완전 개방'과, 아예 숨기자는 '완전 폐쇄' 사이에서, **위험한 것은 잠그고 안전한 것만 공개하는 '현명한 단계별 개방'**을 제안합니다."
보고서 개요
이 보고서는 2025 년 7 월 30 일자 Centre for Future Generations (CFG) 의 연구로, 오픈 가중치 (open-weight) 고급 AI 모델의 급속한 확산과 이에 따른 거버넌스 공백을 분석하고, 단순한 '오픈 vs 클로즈드'의 이분법을 넘어선 위험 기반의 계층적 (tiered) 출시 접근법을 제안합니다.
1. 문제 제기 (Problem)
기술적 역동성: 오픈 가중치 모델 (파라미터가 공개되어 다운로드 및 수정이 가능한 모델) 이 폐쇄형 모델의 성능을 빠르게 추월하고 있습니다 (예: DeepSeek R1 과 같은 모델).
회수 불가능성: 한 번 공개된 모델 가중치는 영구적으로 복제 및 재배포될 수 있어, 출시 후 통제나 회수가 불가능합니다.
보안 우회 위험: 공개된 가중치는 파인튜닝 (fine-tuning) 이나 저글링 (jailbreaking) 을 통해 내장된 안전 장치 (safeguards) 를 우회하거나 악의적인 목적으로 재사용하기 쉽습니다.
거버넌스 공백: 현재 EU, 미국, 중국, 영국 등 주요 국가와 국제 기구 간에 오픈 가중치 모델의 출시 기준, 위험 평가, 안전성 검증에 대한 공통된 표준이 부재합니다. 개발사마다 안전 프로토콜의 수준이 극단적으로 달라 (예: Meta 의 Llama 4 vs OpenAI 의 지연 출시) 체계적인 위험 관리가 어렵습니다.
이분법적 사고의 한계: '오픈'을 무조건적인 선으로 보거나 '클로즈드'를 무조건적인 악으로 보는 기존 논의는 실제 위험 관리와 혁신의 균형을 맞추지 못합니다.
2. 방법론 (Methodology)
현황 분석: 2025 년 기준 오픈 가중치 AI 의 기술적 능력, 위험 프로파일, 그리고 EU, 미국, 중국, 영국 및 국제 포럼의 규제 반응을 비교 분석했습니다.
이해관계자 매핑: 개발자 (Builders), 평가자 및 표준 설정자 (Evaluators), 실행 및 집행자 (Implementers) 로 구분하여 각 주체의 역할을 정의하고 상호작용을 분석했습니다.
사례 연구: DeepSeek, OpenAI, Anthropic, Mistral, Meta 등 주요 기업의 출시 전략과 안전성 평가 사례 (예: OpenAI 의 Preparedness Framework 적용, Anthropic 의 CBRN 위험 평가) 를 대조 분석했습니다.
위험 시나리오 도출: 생물학적 위협 (CBRN), 사이버 공격, 허위 정보 등 구체적인 악용 시나리오를 기반으로 오픈 가중치 모델의 잠재적 위험을 평가했습니다.
3. 주요 기여 (Key Contributions)
이 보고서는 다음과 같은 구체적인 정책 및 기술적 제안을 제시합니다.
A. 계층적 안전 기반 출시 프레임워크 (Tiered, Safety-Anchored Release)
핵심 원칙: 모델의 개방성은 이념이나 상업적 압력이 아닌, 엄격한 위험 평가와 입증된 안전성에 기반해야 합니다.
계층적 접근:
저위험 모델: 일반적인 오픈 액세스 허용.
고위험/최첨단 모델: 검증된 연구자만 접근 가능한 '검증된 액세스 프로그램 (Verified-access programs)'이나 '샌드박스 환경'을 통해 제한적으로 공개.
초고위험 모델: 안전성이 입증되지 않은 경우 출시 유보.
B. 이해관계자별 구체적 행동 방안
AI 안전 연구소 (AISIs) 및 표준 설정자:
국제적으로 조율된 위험 임계값 (risk thresholds) 과 테스트 방법론 개발.
ISO 인증과 같은 형식적 표준보다 빠른 대응을 위한 중간 단계의 실용적 프레임워크 구축.
생물학적, 화학적 등 특정 분야 전문가를 안전 거버넌스 구조에 통합.
개발자 및 제공자:
라이선스 조항에 의존하지 않고, 모델 아키텍처 자체에 보안을 내재화 (Embedding safeguards).
기술적 방어 기법: Tampering Attack Resistance (TAR), Deep-Lock(파라미터 암호화), 머신 언러닝 (Machine Unlearning, 고위험 지식 제거) 등 오픈 가중치 환경에서도 작동하는 기술 개발.
샌드박스 환경을 통한 제한적 연구 지원.
투자자 및 연구 자금 지원자:
오픈 가중치 모델의 악용을 방지하는 기술적 방어 수단 (Guardian 플랫폼 등) 에 대한 투자 확대.
재현성보다는 '안전한 투명성 (Safety-preserving transparency)'을 위한 연구 지원.
사회적 대비 (Societal Preparedness):
AI 리터러시 교육 강화 (공공 및 전문 기관 대상).
국가 사이버보안 및 CBRN 기관의 AI 특화 사고 대응 팀 구축 및 국제 협력 강화.
4. 결과 및 발견 (Results & Findings)
성능 격차 축소: 오픈 가중치 모델이 폐쇄형 모델의 성능을 단기간에 추월하고 있으며, 이 격차는 계속 좁아질 것으로 예상됩니다.
안전성 불균형: 개발사 간 안전 프로토콜의 편차가 극심하여, 한 기업은 위험으로 판단해 출시를 보류한 모델이 다른 기업에서는 제한 없이 공개되는 '위험 노출의 패치워크 (patchwork of risk exposure)'가 발생하고 있습니다.
규제 공백: 현재까지 오픈 가중치 모델의 출시를 체계적으로 규제하거나 안전성을 검증하는 보편적인 국제 표준은 존재하지 않습니다. EU AI Act 가 일부 진전을 보였으나, 실행 단계에서의 모호함이 남아있습니다.
기술적 한계: 현재 존재하는 안전 장치 (safeguards) 는 파인튜닝이나 저글링을 통해 쉽게 우회될 수 있으며, 의도치 않은 사용에 의한 안전성 저하 (safety degradation) 도 빈번하게 발생합니다.
5. 의의 (Significance)
패러다임 전환: "오픈 vs 클로즈드"라는 이분법적 논쟁을 넘어, **"안전이 입증된 경우에만 오픈한다"**는 실용적이고 원칙적인 거버넌스 모델을 제시합니다.
선제적 거버넌스: 실제 피해가 발생하기 전에 위험을 평가하고 대응하는 선제적 (preemptive) 접근의 중요성을 강조합니다.
기술과 정책의 통합: 단순한 규제 제약을 넘어, 모델 아키텍처 수준의 기술적 방어 (TAR, 암호화 등) 와 사회적 대비 (리터러시, 사고 대응) 를 결합한 종합적 솔루션을 제안합니다.
미래 지향성: AI 의 능력이 급격히 발전할수록 오픈 모델의 통제 불가능성이 커질 수 있음을 경고하며, 오늘날의 선택이 미래의 안전한 오픈 가능성을 결정짓는다는 점을 강조합니다.
결론
이 보고서는 오픈 가중치 AI 의 혁신적 가치를 부정하지 않으면서도, 그로 인한 존재적 위험을 관리하기 위해 엄격한 안전 기준, 기술적 방어, 국제적 협력, 사회적 대비가 결합된 다층적 접근이 필수적임을 역설합니다. 안전성이 입증되지 않은 모델은 출시되어서는 안 된다는 원칙 하에, 책임 있는 오픈 (Responsible Openness) 을 위한 구체적인 로드맵을 제시합니다.