From obligation to enforcement: mapping EU AI Act and CRA cybersecurity requirements to technical controls for LLM-based autonomous agents
이 논문은 EU AI 법과 사이버 복원력 법의 결과 중심적 사이버 보안 의무와 LLM 기반 자율 에이전트에 특화된 구체적인 기술적 통제 및 검증 증거로 그 조항들을 매핑함으로써, 실질적인 구현 사이의 간극을 메웁니다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
단순히 질문에 답하는 것을 넘어 행동을 취하는 새로운 종류의 컴퓨터 프로그램을 상상해 보십시오. 이들은 '자율 에이전트(autonomous agents)'라고 불립니다. 이들은 챗봇의 기반이 되는 기술인 대규모 언어 모델을 바탕으로 구축되지만, 결정적인 차이점이 하나 있습니다. 바로 다른 소프트웨어와 연결되고, 이메일을 읽고, 코드를 실행하며, 인간의 도움을 거의 받지 않고도 목표를 달기 위해 스스로 결정을 내릴 수 있다는 점입니다. 이들을 스스로 업무를 계획할 수 있는 디지털 직원이라고 생각하면 됩니다. 이러한 능력은 강력하지만, 독특한 위험을 초래합니다. 에이전트는 지시 사항과 데이터를 동일하게 취급하기 때문에, 메시지에 담긴 교묘한 속임수가 에이전트를 설득하여 파일 삭제나 비밀번호 탈취와 같이 해서는 안 될 행동을 수행하도록 안전 규칙을 무시하게 만들 수 있기 때문입니다. 이러한 시스템이 연구실을 벗어나 실제 비즈니스로 이동함에 따라, 정부는 이들이 안전하도록 보장하기 위해 개입하고 있습니다. 유럽 연합의 두 가지 주요 법률인 인공지능법(AI Act)과 사이버 복원력법(Cyber Resilience Act)은 이제 이 시스템들이 안전해야 함을 요구합니다. 그러나 이 법들은 '복원력'이나 '안전성'과 같은 결과적 목표는 설명하지만, 이를 정확히 어떻게 구축해야 하는지는 설명하지 않습니다. 이로 인해 엔지니어와 규제 당국은 보안이 확보된 소프트웨어가 실제로 어떤 모습인지에 대한 공유된 지도를 갖지 못하게 됩니다.
아바요미 오가예미(Abayomi Ogayemi)라는 연구자는 이 간극을 메우기 위해 법적 요구 사항을 구체적인 기술적 단계로 번역하는 상세한 가이드를 제작했습니다. "의무에서 집행으로(From obligation to enforcement)"라는 제목의 이 논문은 추상적인 법률 규칙과 개발자가 작성하는 구체적인 코드 사이의 가교 역할을 합니다. 저자는 두 가지 EU 규정의 복잡한 법적 텍스트를 작고 관리 가능한 단위의 의무로 세분화했습니다. 각 단위에 대해, 그들은 자율 에이전트를 해칠 수 있는 특정 위협을 식별하고, 이를 막기 위한 검증된 기술적 통제 수단을 매칭했습니다. 그 결과, 기업에게 무엇을 구축해야 하는지, 어떻게 테스트해야 하는지, 그리고 법을 준수하고 있음을 증명하기 위해 어떤 증거를 남겨야 하는지를 알려주는 명확한 체크리스트가 탄생했습니다.
이 연구는 에이전트가 공격받을 수 있는 열 가지 특정 방식에 초점을 맞춥니다. 일부 공격은 에이전트가 지시 사항을 무시하도록 속이는 방식이며, 다른 공격은 에이전트가 학습하는 데이터나 작업에 사용하는 도구를 오염시키는 방식입니다. 연구자는 법률이 이러한 위험들을 다루고 있지만, 기업이 이를 어떻게 해석하느냐에 달려 있다고 발견했습니다. 예를 들어, 법은 시스템이 '강건(robust)'해야 한다고 요구하는데, 이 논문은 이를 '지시 계층 구조(instruction hierarchy)'라는 요구 사항으로 번서합니다. 이는 소프트웨어가 사용자의 명령이 핵심 안전 설정을 무력화하려고 시도할 경우, 그 명령을 따르지 않도록 하는 엄격한 규칙 세트를 갖추어야 함을 의미합니다. 마찬가지로, 법의 '로깅(logging)' 요구는 에이전트가 내린 모든 결정, 즉 어떤 데이터를 보았고 어떤 행동을 취했는지에 대한 조작 불가능한 기록을 유지해야 한다는 요구로 번역됩니다. 그래로 문제가 발생했을 경우 조사관들이 정확히 무슨 일이 일어났는지 확인할 수 있도록 말입니다.
가장 중요한 발견 중 하나는 두 법률이 어떻게 협력하는가 하는 점입니다. 사이버 복원력법은 소프트웨어를 기본적으로 안전해야 하는 하나의 '제품'으로 취급하는 반면, 인공지능법은 시스템이 사람들에게 미칠 수 있는 '위험'에 초점을 맞춥니다. 논문은 만약 기업이 모든 소프트웨어 구성 요소 목록을 작성하고, 에이전트의 접근 권한을 제한하며, 즉시 종료할 수 있는 방법을 갖추는 등 사이버 복원력법의 엄격한 보안 표준을 충족하도록 에이전트를 구축한다면, 인공지능법의 사이내 보안 요구 사항도 자동으로 충족하게 된다는 것을 보여줍니다. 이는 기업이 따를 수 있는 단일하고 통합된 경로를 만들어 줍니다. 또한 연구자는 법률이 문제 보고에 대한 엄격한 기한을 설정하고 있다는 점에 주목했습니다. 해커에 의해 활발히 악용되고 있는 취약점이 발견되면, 기업은 24시간 이내에 당국에 보고해야 합니다. 이를 충족하기 위해, 이 논문은 의심스러운 활동을 즉각 탐지하고 지체 없이 적절한 사람들에게 알릴 수 있는 시스템을 구축할 것을 제안합니다.
이 논문은 모든 문제를 해결했다고 주장하지 않습니다. 논문은 향후 몇 년간 작성될 더 세부적인 기술 표준을 법률이 여전히 기다리고 있음을 지적합니다. 그때까지 이 연구가 제공하는 가이드는 기업이 안전함을 증명할 수 있는 최선의 방법 역할을 할 것입니다. 또한 논문은 어려운 현실을 강조합니다: 만약 기업이 에이전트의 '두뇌'를 누구나 복제하고 변경할 수 있는 오픈 소프트웨어 형태로 공개한다면, 해당 소프트웨어가 나중에 어떻게 사용될지 완전히 통제할 수 없으므로 일부 법적 의무를 집행하는 것이 불가능해집니다. 이러한 도전 과제에도 불구하고, 이 연구는 견고한 토대를 제공합니다. 이는 모호한 법적 약속을 실질적인 엔지니어링 계획으로 바꾸어 놓으며, 강력한 디지털 에이전트들이 우리 세상에 들어올 때 잠재적 실패로부터 우리를 보호하기 위해 필요한 안전 메커니즘을 갖추고 구축되도록 보장합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.