Hardware-rooted attestation for AI-agent evidence: composing IETF RATS with action evidence packages

디지털 블랙박스의 미스터리

당신이 미스터리를 풀려고 노력 중이라고 상상해 보십시오. 하지만 유일한 목격자는 바로 용의자 자신입니다. 인공지능의 세계에서 우리는 '에이전트(agent)'를 구축하고 있습니다. 이는 결정을 내리거나, 코드를 작성하거나, 심지어 로봇을 제어할 수도 있는 똑똑한 컴퓨터 프로그램입니다. 이 에이전트들이 정직하게 행동하도록 유지하기 위해, 우리는 그들의 작업물을 확인하는 방법이 필요합니다. 현재 우리는 에이전트가 스스로 작성하는 디지털 '로그북(logbook)'에 의존하고 있습니다. 로그북은 "나는 이것을 수행했고, 이것을 할 권한이 있었으며, 결과는 이러하다"라고 말합니다. 이는 유용하지만 치명적인 결함이 있습니다. 만약 에이전트가 거짓말을 하고 있거나, 교활한 해커가 에이전트의 뇌를 다른 것으로 바꿔치기했다면, 로그북은 여전히 완벽해 보일 것입니다. 이는 마치 범죄자가 손에 쿠키를 쥐고 있으면서 일기에 "나는 쿠키를 훔치지 않았다"라고 적는 것과 같습니다. 일기는 서명되고 봉인되어 있지만, 그것이 실제로 누가 작성했는지 또는 어떤 컴퓨터가 실행 중이었는지는 증명하지 못합니다.

이를 해결하기 위해 우리는 항공기에 있는 것과 유사한 '블랙박스' 기록 장치가 필요합니다. 이 장치들은 제3자에 의해 제작되어 밀봉되며, 조종사(또는 컴퓨터 운영자)가 조작할 수 없는 데이터를 기록합니다. 컴퓨터의 세계에서는 이를 '하드웨어 어테스테이션(hardware attestation, 하드웨어 검증)'이라고 부릅니다. 이는 컴퓨터 내부의 특별하고 신뢰할 수 있는 칩이 외부 검사관에게 비밀스럽게 속삭이는 방식입니다. "지금 실행 중인 소프트웨어가 소유자가 말하는 것과 정확히 일치한다고 약속합니다." 과학자들이 던지는 큰 질문은 이것입니다: 어떻게 하면 에이전트 자신의 이야기(로그북)와 이 깨지지 않는 하드웨어 증거(블랙박스)를 결합하여 단 하나의 부정할 수 없는 진실을 만들어낼 것인가?

로그북과 봉인된 기록 장치

이 논문은 이 두 가지를 연결하는 영리한 방법을 제안합니다. 저자인 안톤 소콜로프(Anton Sokolov)는 우리가 단순히 AI의 로그북만을 믿어서도 안 되고, 하드웨어만을 믿어서도 안 된다고 주장합니다. 대신, 우리는 이 둘을 분리할 수 없도록 '꿰매어(stitch)' 붙여야 합니다.

이것을 비행 승무원이 거친 착륙에 대해 설명하려고 노력하는 상황으로 생각해 보십시오.

1. 로그북 (AEP): 이것은 '행동 증거 패키지(Action Evidence Package)'입니다. 이것은 승무원의 서면 보고서입니다: "우리는 관제탑으로부터 착륙 허가를 받았고, 왼쪽 활주로를 사용했으며, 안전하게 접지했습니다." 이는 상세하고 서명이 되어 있지만, 여전히 승무원이 작성한 글일 뿐입니다.
2. 블랙박스 (RATS 증거): 이것은 하드웨어 증거입니다. 이것은 밀봉된 기록 장치로, "이 정확한 순간에, 비행기 컴퓨터는 착륙 소프트웨어 버전 1.0을 실행 중이었으며, 엔진은 최대 출력 상태였다"라고 말합니다. 조종사는 이를 변경할 수 없습니다. 이는 비행기 자체 센서에 의해 기록된 물리적 사실입니다.

논문은 로그북만으로는 충분하지 않다고 주장하는데, 왜냐하면 승무원이 거짓말을 할 수 있기 때문입니다. 블랙박스만으로는 충분하지 않은데, 왜냐하면 그것은 왜 비행기가 착륙했는지 또는 조종사가 규칙을 따르고 있었는지에 대해서는 알려주지 않기 때문입니다. 해결책은 이 둘을 **결합(bind)**하는 것입니다. 승로가 로그북을 작성할 때, 그들은 또한 비행기 컴퓨터가 그 정확한 순간에 올바른 상태였음을 증명하는 신선하고 밀봉된 블랙박스 도장을 반드시 첨부해야 합니다.

실험은 어떻게 진행되었나

저자는 단순히 머릿속으로 구상만 한 것이 아닙니다. 그들은 이것이 가능한지 확인하기 위해 작은 작동 모델을 구축했습니다. 그들은 실제 컴퓨터에서 발견되는 특수 보안 칩의 가상 버전인 '소프트웨어 TPM'을 사용하여 블랙박스 역할을 하게 했습니다. 그들은 가짜 AI 로그북을 만들고 이를 하드웨어 증거와 결합하려고 시도했습니다.

그들이 시뮬레이션에서 발견한 결과는 다음과 같습니다:

• "좋은(Good)" 시나리오: AI가 해야 할 일을 제대로 수행하고 컴퓨터가 올로바른 소프트웨어를 실행 중일 때, 시스템은 녹색 불을 켰습니다. 판정은 **"검증됨(Attested)"**이었습니다. 로그북과 블랙박스가 일치했습니다.
• "뇌를 바꿔치기한(Swapped Brain)" 시나리오: 연구진은 시스템을 속이려 시도했습니다. AI가 자신의 뇌를 승인되지 않은 다른 모델로 바꾼 것처럼 가장했습니다. 블랙박스는 즉시 변화를 감지했습니다. 로그북이 완벽하게 "나는 좋은 모델이다"라고 말하고 있음에도 불구하고, 하드웨어 증거는 "아니오, 당신은 그렇지 않습니다"라고 말했습니다. 판정은 **"이의 제기됨(Contested)"**이었습니다. 이것이 이 논문의 큰 성과입니다. 로그북은 여전히 완벽하게 유효하지만, 결합된 판정은 이야기와 하드웨어 현실 사이의 불일치를 드러냅니다.
• "오래된 뉴스(Old News)" 시나리오: 그들은 어제의 유효한 블랙박스 도장을 오늘 자 로그북에 사용하려고 시도했습니다. 시스템은 "너무 오래되었습니다!"라고 말하며 판정을 내렸습니다. 판정은 **"만료됨(Expired)"**이었습니다.
• "가짜 로그북(Fake Logbook)" 시나리오: 그들은 유효한 블랙박스 도장을 가져와 완전히 가짜로 만든 로그북에 첨부하려고 했습니다. 시스템은 즉시 이를 거부했습니다. 도장과 이야기가 일치하지 않았기 때문에 전체가 폐기되었습니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문은 자신이 무엇을 하지 않았는지 매우 신중하게 밝히고 있습니다. 이것은 일반 컴퓨터에서 가짜 칩을 사용한 시뮬레이션이었습니다. 이는 아이디어가 작동한다는 것을 증명하지만, 실제 서버의 실제 물리적 칩이 동일하게 작동할 것임을 아직 증명한 것은 아닙니다. 저자는 실제 세계에서는 실제 AI 모델 파일(즉, '뇌')을 측정해야 하며, 하드웨어가 진정으로 수정되지 않았음을 보장해야 하는데, 이는 더 큰 엔지니어링 과제임을 인정합니다.

하지만 핵심 아이디어는 견고합니다: AI의 로그북을 하드웨어 인장과 결합함으로써, 우리는 새로운 종류의 진실을 만들 수 있습니다. 우리는 "AI가 무엇을 했다고 말하는가?"라는 질문에서 "운영자가 보유하고 있다고 주장하는 바로 그 특정 컴퓨터가 실제로 이것을 수행했는가?"라는 질문으로 넘어갈 수 있습니다.

이 논문은 이 "복합적(composite)" 접근 방식이 신뢰를 위한 6개 단어의 어휘를 생성한다고 제안합니다: 승인됨(Authorised) (권한이 있었음), 미승인(Unauthorised) (권한이 없었음), 불확정(Indeterminate) (알 수 없음), 검증됨(Attested) (하드웨어가 양호함), 이의 제기됨(Contested) (하드웨어가 거짓이거나 변경됨), 그리고 만료됨(Expired) (증거가 너무 오래됨).

요약하자면, 이 논문은 AI의 로그북이 하드웨어 인장 안에 잠길 수 있음을 보여줍니다. 만약 AI가 자신의 행동에 대해 거짓말을 하려 하거나, 누군가 AI의 뇌를 다른 것으로 바꾸려 한다면, 인장이 깨지지는 않지만 결합된 판정은 **"이의 제기됨(Contested)"**이 되어, 이야기와 기계가 서로 다르다는 것을 드러냅니다. 이것은 AI가 "내가 이것을 했다"라고 말할 때, 그것이 단순한 이야기가 아니라 기계에 의해 뒷받침되는 사실임을 확신할 수 있게 만드는 방법입니다.