ChronosAttack: Adversarial Tool Scheduling Attacks on LLM Agents
이 논문은 비동기적 LLM 에이전트에서 실제 도구 응답의 타이밍을 조작하여 내용을 수정하지 않고도 결정 결과를 변경하는 새로운 적대적 기법인 ChronosAttack을 소개하며, 응답 순서 그 자체가 다양한 모델에 걸쳐 중요한 공격 표면을 구성함을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 인공지능은 단순히 질문에 답하는 시스템에서 행동을 취할 수 있는 에이전트로 진화했습니다. 이러한 에이전트는 날씨 예보를 확인하거나, 항공권을 예약하거나, 데이터베이스 항목을 검색하기 위해 소프트웨어 도구를 사용하는 디지털 비서로서 외부 세계에 손을 뻗을 수 있습니다. 이들은 단순히 정적인 문서를 읽는 것이 아니라, 도구가 작업을 마칠 때까지 기다렸다가 그 새로운 정보를 사용하여 다음에 무엇을 할지 결정하며 역동적인 환경과 상호작용합니다. 이 과정은 에이전트가 질문을 던지고, 도구가 작동하며, 도구가 답변을 보내고, 에이전트가 그 답변을 사용하여 앞으로 나아가는 일련의 사건들에 의존합니다. 이러한 시스템이 안전하고 신뢰할 수 있으로 만들기 위해서는, 우리가 어떤 정보를 받는지뿐만 아니라, 그 정보의 타이밍이 어떻게 그들의 결정에 영향을 미치는지도 이해해야 합니다.
연구자들은 정보가 제시되는 순서가 인간이나 기계가 상황을 해석하는 방식을 바꿀 수 있다는 것을 오래전부터 알고 있었습니다. 만약 옵션 목록이 뒤섞인다면, 목록 상단에 있는 옵션이 하단에 있는 것보다 더 중요하게 느껴지는 경우가 많습니다. 본 논문은 이러한 원리가 AI 에이전트를 상대로 어떻게 교묘하게 악용될 수 있는지 탐구합니다. '크로노스 어택(ChronosAttack)'이라 명명된 이 연구는 공격자가 정직하고 수정되지 않은 도구의 응답이 도착하는 시간을 지연시키는 것만으로 에이전트의 최종 결정을 바꿀 수 있는지 조사합니다. 공격자는 도구를 해킹하거나, 데이터를 변경하거나, 거짓 명령을 주입할 필요가 없습니다. 그들은 단지 특정 정보의 도착을 아주 잠시 동안 붙잡아둠으로써, 에이전트가 해당 정보를 보는 순서를 바꿀 수 있을 만큼의 시간만을 제어하면 됩니다.
연구진은 이 아이디어를 주요 기술 기업들의 네 가지 서로 다른 강력한 AI 모델에 대해 테스트했습니다. 그들은 에이전트가 도구로부터 제공된 세 가지 별개의 증거를 바탕으로 세 가지 옵션 중 하나를 선택해야 하는 시나리오를 설정했습니다. 정상적인 상황에서는 도구들이 자연스럽고 논리적인 순서로 답변을 반환합니다. 공격 시나리오에서 연구진은 특정 응답에 미세하게 통제된 지연을 도입했습니다. 이 지연은 밀리초 단위, 즉 1초 미만의 아주 짧은 시간이었지만, 에이전트가 증거를 받는 순서를 뒤섞기에는 충분했습니다. 증거의 내용은 정확히 동일하게 유지되었으며, 오직 타이밍만이 변했습니다.
결과는 이러한 단순한 시간 조작이 에이전트의 선택을 극적으로 바꿀 수 있음을 보여주었습니다. 어떤 경우에는 지연으로 인해 에이전트가 특정 목표 옵션으로 높은 확신을 가지고 결정을 전환하기도 했습니다. 예를 들어, 처음에 특정 옵션을 10%의 확률로만 선택하던 한 모델은 증거의 순서가 바뀌었을 때 그 옵션을 83%의 확률로 선택하기 시작했습니다. 또 다른 모델은 훨씬 더 극적인 반응을 보였는데, 반대 방향이었습니다. 즉, 순서가 바뀌었을 때 기존의 선택을 거의 완전히 포기했습니다. 세 번째 모델은 상대적으로 안정적인 모습을 보였는데, 이는 모든 시스템이 이러한 유형의 타이밍 공격에 똑같이 취약한 것은 아님을 보여줍니다. 연구는 이 효과가 과거의 상호작용을 기억하는 에이전트에게만 국한되지 않는다는 것을 발견했습니다. 에이전트가 모든 정보를 한꺼번에 처리하더라도, 텍스트가 나타나는 순서를 바꾸는 것만으로도 결정을 뒤집기에 충분했습니다.
연구진은 또한 더 큰 지연이 더 강력한 공격을 유발하는지 조사했습니다. 그들은 지연의 크기보다 그로 인해 만들어진 특정 순서가 더 중요하다는 것을 발견했습니다. 두 가지 증거의 순서를 단 한 번 바꿀 정도의 아주 작은 지연이, 여러 번의 순서 바뀜을 일으키는 더 큰 지연만큼이나 효과적인 경우가 많았습니다. 이는 이 취약성이 정보의 양이 아니라, 에이전트가 정보의 순서를 어떻게 가중치를 두어 처리하는지에 달려 있음을 시사합니다. 이를 방어하기 위해 팀은 두 가지 방어 전략을 테스트했습니다. 한 가지 전략은 모든 도구가 작업을 마칠 때까지 기다린 후 결과를 에이전트에게 제시하여, 정보가 고정되고 안전한 순서로 도착하도록 보장하는 것이었습니다. 또 다른 전략은 에이전트에게 모든 가능한 순서로 섞인 정보를 바탕으로 결정을 여러 번 내리게 한 뒤, 결과가 일관될 때만 답변을 수용하도록 하는 것이었습니다. 두 방법 모두 공격자가 결과를 제어할 수 있는 능력을 크게 줄였으나, 그 효과는 사용된 특정 AI 모델에 따라 달랐습니다.
이 연구는 도구 응답의 타이밍이 그동안 간과되어 온 보안 경계임을 밝혀냅니다. 이는 에이전트의 결정 과정이 입력값의 내용이 완전히 진본일지라도, 입력값의 리듬에 민데이션을 받는다는 것을 보여줍니다. 이 연구는 이러한 취약점이 모든 실제 시스템에 존재한다고 주장하거나, 모든 AI 에이전트가 똑같이 위험에 처해 있다고 암시하는 것이 아닙니다. 대신, 사건의 순서가 결과를 변화시키기 위해 조작될 수 있는 변수라는 명확한 증거를 제공합니다. 1초 미만의 지연이 하나의 선택을 다른 선택으로 바꿀 수 있음을 보여줌으로써, 이 연구는 AI 안전성의 새로운 영역을 강조합니다. 이는 이러한 에이전트들이 우리의 디지털 삶에 더 깊숙이 통합됨에 따라, 이들을 거짓 데이터나 악의적인 명령으로부터 보호하는 것만큼이나 시간의 미묘한 영향으로부터 견고하게 만드는 것이 중요해질 것임을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.