AI Security Priorities: A Field-Wide Agenda
본 논문은 AI 도입 속도가 보안 준비도를 앞지르고 있는 상황에서 AI 시스템과 인프라를 보호하기 위한 조율된 투자와 행동을 안내하기 위해, 전문가 인터뷰와 워크숍을 통해 도출된 네 가지 핵심 주제로 구성된 우선순위 기반의 다부문 의제를 제시한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
컴퓨터의 세계를 거대하고 북적이는 도시라고 상상해 보세요. 수십 년 동안 이 도시를 건설하는 사람들은 건물을 더 높게 쌓고 도로를 더 빠르게 만드는 데 집중했습니다. 그들은 문제를 해결하고, 이야기를 쓰고, 데이터를 정리할 수 있는 강력한 도구들을 만들어냈습니다. 하지만 최근에 그들은 새로운 것을 만들기 시작했습니다. 단순히 명령을 따르는 것이 아니라, 다음에 무엇을 할지 스스로 생각하고, 도구를 집어 들고, 스스로 도시를 돌아다닐 수 있는 로봇들입니다. 이것들을 "AI 에이전트"라고 부릅니다.
문제는 도시의 보안 요원들이 여전히 10년 전의 유니폼을 입고 있다는 점입니다. 그들은 문을 잠그거나 쇠지렛대로 도둑을 막는 법은 알지만, 자물쇠를 따거나, 경비원을 속여 문을 열게 하거나, 당신이 잠든 사이에 도시의 설계도를 다시 쓰는 로봇에 대해서는 준비가 되어 있지 않습니다. 이 논문은 이 로봇들을 만드는 사람들, 도시를 지키는 사람들, 그리고 규칙을 만드는 사람들로 구성된 전문가 그룹에 관한 이야기입니다. 이들은 로봇이 점점 더 똑똑해지는 속도와 우리가 그들을 보호하는 법을 배우는 속도 사이의 간극이 위험할 정도로 벌어지고 있다는 사실을 깨달았습니다. 그들은 로봇이 통제 불능 상태로 커지기 전에 도시를 안전하게 지키기 위해 정확히 무엇을 해야 하는지 알아내기 위해 모였습니다.
"AI 보안 우선순위: 분야 전체의 의제(AI Security Priorities: A Field-Wide Agenda)"라는 제목의 이 논문은 본질적으로 전 세계 20명 이상의 전문가가 만든 거대한 '할 일 목록'입니다. 그들은 단순히 추측한 것이 아닙니다. 리더들을 인터뷰하고, 워크숍을 개최했으며, 아이디어들을 두 가지 기준, 즉 '얼마나 중요한가'와 '투입 대비 효과(bang for the buck)가 얼마나 큰가'를 바탕으로 순위를 매겼습니다. 그들은 우리가 더 이상 소프트웨어의 구멍을 메우는 식의 임시방편만으로는 안 된다는 것을 발견했습니다. 우리는 완전히 새로운 사고방식이 필요합니다.
그들이 발견한 내용을 도시의 네 가지 주요 구역으로 나누어 설명하면 다음과 같습니다.
1. 시청 구역 (전략 및 규칙)
전문가들은 AI 보안을 사소한 IT 문제로 취급하는 것을 멈추고, 국가 방위 수준으로 다루어야 한다고 말합니다. 그들은 정부가 명확한 "억제 전략(deterrence strategy)"을 가질 것을 제안합니다. 이것은 울타리에 "만약 우리 로봇의 뇌를 훔치려 한다면, 우리는 그것을 알 것이며, 강력하게 응징할 것이다"라고 적힌 표지판을 세우는 것과 같습니다. 현재 나쁜 놈들은 규칙이 모호하기 때문에 아무런 대가 없이 이 강력한 AI 모델들을 훔칠 수 있다고 생각할지도 모릅니다. 또한 논문은 공통된 사전(dictionary)이 필요하다고 말합니다. 현재 한 집단은 문제를 "안전(safety)"이라고 부르고 다른 집단은 "보안(security)"이라고 불러 혼란이 발생하고 있습니다. 우리는 모두가 같은 언어를 사용하여 올바른 벽을 쌓을 수 있어야 합니다. 마지막으로, 그들은 누구나 자신의 AI를 보호하기 위한 최고의 도구와 가이드를 찾을 수 있는 거대한 도서관("리소스 허브")을 원합니다. 그래 so 모든 사람이 바퀴를 새로 발명할 필요가 없도록 말입니다.
2. 방범대 구역 (민관 협력)
가장 강력한 AI 로봇들은 소수의 민간 기업들에 의해 만들어지고 있지만, 그들에 대한 위협은 국가 단위에서 옵니다. 이는 마치 작은 동네 방범대가 외국 군대를 막으려는 것과 같습니다. 그들 스스로는 해낼 수 없습니다. 논문은 정부와 기업들이 팀을 이루어야 한다고 제안합니다. 정부는 기업들이 보지 못하는 나쁜 놈들에 대한 비밀 정보(intelligence)를 가지고 있고, 기업들은 보호받아야 할 로봇을 가지고 있습니다. 그들은 스파이들이 보안 승인을 받는 것처럼, 이 로봇들을 다루는 사람들에게 특별한 "승인(clearance)" 배지를 부여하여 내부의 누군가가 적을 위해 일하고 있지 않은지 확인해야 한다고 제안합니다. 또한, 기업들이 공격을 받았을 때 처벌받을 걱정 없이 공격 사례를 공유할 수 있는 전용 핫라인을 만들기를 원합니다. 그래야 한 회사가 해킹당했을 때, 다른 모든 이들이 즉시 이를 해결할 방법을 알 수 있기 때문입니다.
3. 엔지니어링 작업장 (기술적 보안)
이곳은 실제 제작이 이루어지는 곳입니다. 논문은 현재의 도구들이 충분히 강력하지 않다고 지적합니다. 그들은 "기밀 컴퓨팅(confidential computing)"을 사용할 것을 제안하는데, 이는 AI의 뇌를 오직 AI만이 내부를 볼 수 있는 초강력하고 깨지지 않는 유리 상자 안에 넣는 것과 같습니다. 설령 해커가 건물 안으로 침입하더라도, 상자 안을 훔쳐보고 로봇의 비밀을 훔쳐갈 수는 없습니다. 또한 그들은 AI를 사용하여 더 나은 코드를 작성하기를 원하며, 똑똑한 로봇이 인간보다 먼저 자신의 실수를 찾아내기를 기대합니다. 또 다른 큰 아이디어는 "레드팀(red-teaming)"입니다. 이는 전문적인 도둑들을 고용하여 시스템에 침입하도록 시도하는 것과 같습니다. 논문은 진짜 나쁜 놈들이 나타나기 전에 우리의 방어력을 테스트하기 위해, 외국 정부처럼 생각하는 '최고의 도둑들'을 고용해야 한다고 말합니다.
4. 로봇 제어실 (에이전트형 AI 거버넌스)
이것은 가장 미래적인 부분입니다. 로봇들이 전력망을 관리하거나 돈을 움직이는 등 스스로 무언가를 하기 시작함에 따라, 새로운 규칙이 필요합니다. 논문은 "허가 프레임워크(permission frameworks)"가 필요하다고 제안합니다. 로봇이 자동차를 사고 싶어 한다고 가정해 봅시다. 로봇은 그냥 살 수 있는 것이 아니라, 인간에게 "제가 이 차를 사도 될까요?"라고 물어야 하고, 인간이 "예"라고 답해야 합니다. 또한 우리는 로봇이 특정 위험한 행동(예를 들어, 회사의 모든 돈을 낯선 사람에게 보내는 것)을 절대로 할 수 없다는 것을 수학적으로 증명해야 합니다. 논문은 만약 우리가 이러한 구체적인 통제 장치 없이 로봇들을 마음대로 풀어 놓는다면, 그들이 돕기로 되어 있는 바로 그 시스템을 사고로(혹은 의도적으로) 공격할 수 있다고 경고합니다.
결론
이 논문은 모든 것을 해결했다고 주장하지 않습니다. 오히려 이것이 계획의 첫 번째 초안임을 인정합니다. 전문가들은 위협의 양상이 매우 빠르게 변하고 있으며, 오늘 작동하는 것이 내일은 작동하지 않을 수도 있다는 점을 매우 분명히 하고 있습니다. 그러나 그들은 지금 당장 이 18가지 우선순위에 대해 작업하기 시작한다면—규칙을 세우고, 비밀을 공유하고, 기술을 강화하고, 로봇을 통제함으로써—우리가 승률을 높일 수 있다고 확신합니다. 그들은 이 강력한 도구들이 성장함에 따라, 그들이 만들어진 도시를 위협하는 존재가 되는 대신, 안전하고 보안이 철저하며 모두에게 도움이 되는 존재로 남기를 바랍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.