당신이 집을 짓고 있다고 상상해 보십시오. 수십 년 동안 우리는 벽이 얼마나 튼튼한지, 잠금장치가 얼마나 안전한지, 그리고 도둑이 특정 자물쇠를 따낼 확률이 얼마나 되는지를 측정할 수 있는 완벽한 청사진과 도구들을 가지고 있었습니다. 이 도구들은 나무와 벽돌로 만든 일반적인 집에는 아주 잘 작동합니다. 하지만 이제, 갑자기 우리에게 말을 걸고, 이메일을 써주고, 자동차를 운전할 수도 있는 살아있는, 생각하는 구름으로 집을 짓게 되었다고 상상해 보십시오. 기존의 도구들은 여기서 작동하지 않습니다. 당신은 망치로 구름의 "강도"를 측정할 수 없으며, 도둑은 자물쇠를 따는 대신 그저 구름에게 비밀번호를 속삭여서 안으로 들어올 수 있습니다. 이것이 바로 인공지능(AI)의 세계입니다. AI는 단순히 고정된 명령 목록을 따르는 것이 아니라 데이터로부터 학습하는 새로운 종류의 기술입니다. 이러한 AI 시스템은 너무나 새롭고 다르기 때문에, 일반적인 컴퓨터 소프트웨어에 사용하는 기존의 안전 체크리스트에는 가장 중요한 부분들이 빠져 있습니다. 우리는 위험을 이해하는 새로운 방법이 필요하며, 그렇지 않으면 겉보기에는 안전해 보이지만 실제로는 보이지 않는 균열로 가득 찬 집에서 살게 될지도 모릅니다.

Shubham Paikrao가 작성한 이 논문은 이러한 "생각하는 구름" 집들을 위해 특별히 설계된 새로운 맞춤형 도구 상함과 같습니다. 저자는 오늘날 우리가 사용하는 안전 점수가 구름의 무게를 체중계로 재려는 것과 같다고 주장합니다. 즉, 서로 맞지 않는다는 것입니다. 이 논문은 새로운 숫자를 기존 도구에 억지로 끼워 맞추는 대신, 현재의 도구들이 완전히 간과하고 있는 다섯 가지 특정 "렌즈" 또는 차원을 통해 AI 위험을 바라봐야 한다고 제안합니다. 이 렌즈들은 다음과 같습니다: 공격 표면(Attack Surface, AI가 열어둔 문과 창문이 얼마나 많은지), 모델 취약성(Model Exploitability, AI를 속이거나 조작하기 얼마나 쉬운지), 데이터 무결성(Data Integrity, AI가 학습한 정보가 정말로 신뢰할 수 있는지), 규제 노출(Regulatory Exposure, AI가 회사를 법적 문제에 얼마나 휘말리게 할 수 있는지), 그리고 통제 성숙도(Control Maturity, 회사가 AI를 얼마나 잘 감시하고 있는지)입니다.

이 논문은 모든 위험에 대해 지금 당장 완벽한 달러 금액을 산출해내는 마법의 계산기를 가졌다고 주장하지 않습니다. 사실, 저자는 우리가 이러한 정밀한 재무적 예측을 하기 위한 충분한 AI 재난의 이력을 아직 가지고 있지 않음을 명시적으로 밝히고 있습니다. 대신, 이 논문은 "개념적 프레임워크(conceptual framework)"를 제공합니다. 이는 멋진 말로 표현하자면, 견고한 비계(scaffolding)나 공유된 어휘를 제공한다는 뜻입니다. 이는 경영진, 보안 요원, 그리고 정부 규제 기관들이 AI 위험에 대해 이야기할 때 모두 같은 언어를 사용할 수 있게 해주는 방법입니다. 저자는 조직들이 이 다섯 가지 차원을 사용함으로써, 추측을 멈추고 자신들의 AI가 어디에서 취약하며 어디에 더 강력한 방어 체계를 구축해야 하는지에 대해 명확하고 구조화된 대화를 시작할 수 있다고 제안합니다. 이것은 완성된 제품이 아니라, 우리의 AI 미래가 스스로의 무게를 견디지 못하고 무너지는 것을 막기 위한 필수적인 첫 단계입니다.

기존 안전 점수의 문제점

당신이 박물관의 보안 요원이라고 상상해 보십시오. 수년 동안 당신은 그림의 균열을 확인하기 위해 특수 스캐너를 사용해 왔습니다. 만약 그림에 균열이 있다면, 스캐너는 삐 소리를 내며 1점에서 10점 사이의 점수를 줍니다. 이것은 그림에는 완벽하게 작동합니다. 하지만 그 후, 박물관이 스스로 그림을 그릴 수 있는 로봇을 전시하기로 결정했습니다. 로봇은 균열이 있는 것이 아니라, "환각(hallucinations)"(실제로 존재하지 않는 것을 보는 현상)을 겪고, 방문객이 이상한 문구를 속삭이는 것(이를 "프롬프트 인젝션(prompt injection)"이라 부름)에 속을 수 있으며, 시간이 지남에 따라 그림 그리는 법을 서서히 잊어버릴 수도 있습니다(이를 "모델 드리프트(model drift)"라고 합니다).

만약 당신이 기존의 그림 스캐너를 로봇에게 사용한다면, 스캐너는 아무 소리도 내지 않을 것입니다. 스캐너는 코드에 균열이 없기 때문에 로봇이 완벽하게 안전하다고 말할 것입니다. 하지만 로봇은 실제로 위험한 상태입니다! 논문은 우리의 현재 안전 도구들, 즉 소프트웨어 버그가 얼마나 심각한지를 점수화하는 CVSS나 재난이 얼마나 많은 돈을 잃게 할지 예측하려는 FAIR가 기존의 정적인 소프트웨어 세상을 위해 만들어졌음을 지적합니다. 이들은 AI 특유의 기술들에 대해서는 눈이 멀어 있습니다.

예를 들어, 논문은 CVSS가 문을 부수는 것이 얼마나 쉬운지는 잘 알려주지만, 누군가가 재미있는 농담을 해서 로봇이 문을 열도록 유도하는 것을 어떻게 측정해야 하는지는 알지 못한다고 언급합니다. 마찬가지로, FAIR는 재무적 위험을 계산하는 데 탁월하지만, 이를 위해서는 역사적 데이터(예: "지난해에 이런 일이 몇 번 발생했는가?")가 필요합니다. AI는 매우 새롭기 때문에, 우리는 이러한 특정 AI 재난을 학습시킬 충분한 역사를 가지고 있지 않습니다. 이 논문은 AI를 위해 기존 도구를 사용하는 것이 불을 온도계 대신 자(ruler)로 측정하려는 것과 같다고 주장합니다. 도구의 모양 자체가 맞지 않는다는 것입니다.

다섯 가지 새로운 렌즈

이를 해결하기 위해, 이 논문은 AI 위험을 바라보는 다섯 가지 새로운 방법을 소개합니다. 이것을 AI 시스템 전체를 보기 위해 당신이 비춰야 할 다섯 개의 서로 다른 손전등이라고 생각하십시오.

1. 공격 표면 (Attack Surface): 열린 문들
이것은 악의적인 행위자가 침입할 수 있는 경로가 얼마나 많은지에 관한 것입니다. 일반적인 컴퓨터의 경우 몇 개의 열린 포트가 될 수 있습니다. 하지만 AI의 경우, 이것은 훨씬 더 큽니다. 당신이 챗봇과 대화하거나, 파일을 업로드하거나, AI가 당신의 이메일에 연결하도록 허용할 때마다, 당신은 새로운 문을 여는 것입니다. 논문은 만약 당신이 AI 에이전트(무언가를 수행할 수 있는 로봇)가 당신의 은행 계좌나 이메일과 대화하도록 허용한다면, 거대한 "공격 표면"을 갖게 된다고 강조합니다. 이는 마치 앞문, 뒷문, 차고, 그리고 지하실 창문을 모두 열어두는 것과 같습니다. AI가 외부 세계와 상호작용하는 방식이 많아질수록, 노출되는 정도도 커집니다.

2. 모델 취약성 (Model Exploitability): 속임수에 빠지기 쉬운 마음
이것은 AI를 속이기가 얼마나 쉬운지를 측정합니다. 어떤 AI는 "블랙박스"(우리가 어떻게 생각하는지 알 수 없는 것)인 반면, 어떤 것은 공개되어 있습니다. 논문은 만약 AI의 지침이 공개되어 있거나, 회사가 알려진 속임수를 수정하는 데 느리다면, 그 AI는 매우 "취약(exploitable)"하다고 제안합니다. 이는 마술사가 자신의 비밀을 잊어버린 것과 같습니다. 만약 누군가 그 기술을 안다면, 그들은 마술사가 무엇이든 하게 만들 수 있습니다. 논문은 프롬프트 인젝션(텍스트로 AI를 속이는 것)이 이러한 모델 작동 방식의 근본적인 부분이며, 이는 깨진 자물쇠처럼 완전히 "고칠" 수 있는 것이 아니라 끊임없이 관리되어야 하는 영역임을 언급합니다.

3. 데이터 무결성 (Data Integrity): 오염된 우물
AI는 학생이 교과서로부터 배우는 것처럼 데이터로부터 학습합니다. 만약 교과서가 거짓말로 가득 차 있다면, 학생은 거짓을 배우게 됩니다. 이 차원은 세 가지를 살펴봅니다:

• 포이즈닝(Poisoning): 누군가 AI의 훈련 과정에 나쁜 데이터를 몰래 집어넣었는가?
• 드리프트(Drift): 현실 세계가 변했기 때문에 AI가 제대로 작동하는 법을 잊어버렸는가? (예를 들어, 2020년 데이터로 훈련받은 의사 AI가 2026년의 바이러스를 진단하려고 한다면, 잘못된 진단을 내릴 수 있습니다.)
• 환각(Hallucations): AI가 자신 있게 가짜 사실을 지어내는가?
  논문은 단순히 작동을 멈추는 고장 난 컴퓨터 프로그램과 달리, "드리프트"되는 AI는 계속 작동하면서도 몇 달 동안 아무도 눈치채지 못하게 미묘하게 틀린 답을 줄 수 있다는 점을 강조합니다.

4. 규제 노출 (Regulatory Exposure): 법의 감시하는 눈
이것은 규칙을 어겼을 때의 비용에 관한 것입니다. 정부는 EU AI Act나 SEC의 규칙과 같이 AI에 대한 새로운 법들을 만들고 있습니다. 만약 당신의 AI가 법을 어긴다면, 당신은 막대한 벌금(논문에 따르면 최대 3,500만 유로 또는 글로벌 수익의 7%)을 물거나 실수를 대중에게 공개해야 할 수도 있습니다. 논문은 기존의 위험 도구들이 이러한 법적 비용을 계산하지 않는다는 점을 지적합니다. 이는 보험 없이 자동차를 운전하는 것과 같습니다. 자동차는 잘 달릴지 모르지만, 사고가 나면 재정적 타격이 엄청납니다.

5. 통제 성숙도 (Control Maturity): 보안 요원의 숙련도
이것이 마지막 조각입니다: 회사가 위험을 관리하는 능력이 얼마나 좋은가? 설령 AI가 많은 열린 문을 가지고 있고(높은 공격 표면), 속이기 쉽더라도(높은 취약성), 회사가 24시간 내내 지켜보는 매우 숙련된 보안 요원을 보유하고 있다면 위험은 낮아집니다. 여기에는 AI를 나쁜 입력값으로 테스트하는 것(레드팀 활동), 출력값을 모니터링하는 것, 그리고 중요한 결정에 대해 인간이 검토하는 것 등이 포함됩니다. 논문은 "성숙한" 통제 시스템을 가진 회사가 단순히 운에 맡기는 회사보다 훨씬 더 나은 위치에 있다고 주장합니다.

현실 세계에서의 작동 방식

이 논문은 이 새로운 프레임워크가 위험에 대한 우리의 생각을 어떻게 바꾸는지 보여주기 위해 세 가지 사례를 사용합니다.

• 은행의 챗봇: 이 AI는 고객과 대화하며 계좌 정보를 조회할 수 있습니다. 이 AI는 높은 공격 표면(모두가 대화할 수 있음)과 높은 취약성(블랙박스임)을 가집니다. 규제 위험은 중간 수준입니다. 논문은 이것이 매우 쉽게 공격받을 수 있고 공개적이기 때문에 심각한(Critical) 위험이라고 제안합니다.
• 병원의 트리아지(Triage) AI: 이 AI는 의사가 누구를 먼저 도와야 할지 결정하는 데 도움을 줍니다. 공격 표면은 중간 수준(의사들만 사용함)이지만, 데이터 무결성 위험은 높습니다(환각을 일으키면 환자가 다칠 수 있음). 또한 의료 관련 법 때문에 규제 위험이 심각합니다. 논문은 이것 역시 심상한(Critical) 위험이지만, 그 이유는 전혀 다르다고 말합니다. 해결책은 단순히 "문을 잠그는 것"이 아니라 "AI가 거짓말을 하지 않도록 만드는 것"입니다.
• 소프트웨어 회사의 코드 어시스턴트: 이 AI는 프로그래머가 코드를 작성하는 것을 돕습니다. 공격 표면은 낮고(직원들만 사용함), 규제 위험도 낮습니다. 설령 실수를 하더라도 큰 문제가 되지 않습니다. 논문은 이 위험이 관리 가능한(Managed) 수준이며, 많은 주의를 기울일 필요가 없다고 말합니다.

핵심적인 결론은 두 시스템 모두 "심각한" 위험일 수 있지만, 그 이유는 완전히 다를 수 있다는 점입니다. 기존의 도구들은 단 하나의 숫자만을 부여하여 어떻게 고쳐야 할지 알 수 없게 만듭니다. 이 새로운 프레임워크는 당신이 정확히 어디에 에너지를 집중해야 하는지 알려줍니다.

이 논문이 하는 것과 하지 않는 것

이 논문이 무엇이 아닌지 이해하는 것이 중요합니다. 저자는 이 논문이 지금 당장 모든 위험에 대해 완벽한 달러 금액을 산출해내는 마법의 계산기가 아니라는 점을 매우 분명히 하고 있습니다. 우리는 "이 AI가 실패하면 우리에게 5만 달러의 손실을 입힐 것이다"라고 말할 수 있을 만큼의 데이터가 아직 없습니다. 논문은 이러한 AI 재난이 얼마나 자주 발생하는지에 대한 수치가 부족하다는 점을 인정합니다. 대신, 이 논문은 생각하기 위한 구조를 제공합니다. 이는 우리가 미래에 데이터를 얻었을 때, 그 데이터를 어떻게 사용할지 알 수 있도록 대화를 조직하는 방법입니다.

또한 이 논문은 기존의 도구를 단순히 수정해서는 안 된다는 점을 배제합니다. 저자는 CVSS나 FAIR에 몇 가지 새로운 설정을 추가한다고 해서 AI를 위해 작동하게 만들 수 없다고 주장합니다. 문제는 더 깊습니다. 위험을 생각하는 방식 전체가 이 새로운 차원들을 포함하도록 바뀌어야 합니다 합니다.

이것이 왜 중요한가

논문은 우리가 직면한 가장 큰 문제는 위협에 대해 충분히 알지 못하는 것이 아니라, 그것들에 대해 이야기할 공통된 언어가 없다는 것이라고 결론짓습니다. 규제 기관, 보험 회사, 그리고 보안 팀은 모두 서로 다른 언어를 사용하고 있습니다. 이 프레임워크는 공통된 어휘를 제안합니다. 이는 이사회 구성원들이 컴퓨터 전문가가 아니더라도 위험을 이해할 수 있는 방법을 제공하며, 보안 팀에게는 무엇을 구축해야 할지에 대한 명확한 체크리스트를 제공합니다.

궁극적으로, 이 논문은 우리가 "비계(scaffolding)" 단계에 있다고 제안합니다. 우리는 결국 정량화되고 정밀한 AI 위험 관리 시스템을 지탱하게 될 구조물을 만들고 있는 것입니다. 숫자로 채울 데이터를 얻을 때까지, 이 다섯 가지 차원의 프레임워크는 우리가 미래를 모래 위에 짓지 않도록 보장하는 데 있어 우리가 가진 최선의 도구입니다. 이것은 우리의 AI 친구들이 실수로 집을 태워버리지 않도록 하기 위한 유쾌하고, 실용적이며, 필수적인 단계입니다.