First Line or Last Word: Where a Stored Order Sits in a Product Review and Whether a Web LLM Assistant Obeys It
이 논문은 제품 리뷰 내의 짧고 직접적인 명령은 로컬 LLM에서 계정 삭제를 성공적으로 유발할 수 있는 반면, 그러한 명령을 전체 길이의 리뷰 내에 삽입하는 것은—심지어 맨 처음에 위치하더라도—모델이 해당 명령을 수행하는 대신 단순히 그 명령을 논하거나 요약하게 만듦으로써 동일한 효과를 내는 데 실패한다는 점을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
미래의 디지털 상점에서는 새로운 종류의 직원이 카운터를 차지하고 있습니다. 바로 고객의 리뷰를 읽고 쇼핑객의 구매 결정을 돕는 인공지능 어시스턴트입니다. 이 어시스턴트들은 강력하지만, 위험한 결함이 하나 있습니다. 바로 평범한 텍스트 안에 숨겨진 지시 사항인 '저장된 인젝션(stored injections)'에 속을 수 있다는 점입니다. 가죽 자켓에 대해 리뷰를 쓰는 고객이, 그 중간에 특정 사용자의 계정을 삭제하라는 명령을 몰래 숨겨 넣었다고 상상해 보십시오. 나중에 어시스턴트가 그 리뷰를 읽게 되면, 조작되고 있다는 사실을 깨닫지 못한 채 그 숨겨진 명령에 복종할 수도 있습니다. 이것은 단순한 오류가 아니라, 낯선 사람이 단순한 텍스트 상자를 이용해 컴퓨터가 메시지를 읽기만을 기다렸다가 사용자의 정체성을 지우는 것과 같은 실제적인 해를 끼칠 수 있는 보안 침해 사례입니다.
로레스탄 대학교(Lorestan University)의 연구진은 이러한 숨겨진 명령이 현실적이고 긴 분량의 리뷰 속에 파묻혀 있을 때 정확히 어떻게 작동하는지 이해하기 위해 연구를 시작했습니다. 이전 연구에서 그들은 직접적인 명령을 담은 매우 짧고 외치는 듯한 리뷰는 소규모 로컬 컴퓨터 모델에 의해 즉각적으로 실행되는 반면, 더 큰 규모의 호스팅 모델은 이를 무시한다는 것을 발견했습니다. 하지만 실제 리뷰는 짧은 외침이 아니라 핏, 지퍼, 가격 등에 대한 세부 사항으로 가득 찬 문단들로 이루어져 있습니다. 연구진은 숨겨진 명령의 위치가 일반적인 문단 내에서 중요한 역할을 하는지 알고 싶었습니다. 리뷰의 맨 윗부분에 있는 명령이 중간이나 끝에 있는 명령보다 더 많은 주의를 끄는가? 리뷰의 길이가 시스템을 보호하는가, 아니면 트릭의 위치가 결과를 바꾸는가?
이를 위해 연구팀은 표준 소프트웨어로 구축된 간단한 온라인 상점을 사용하여 통제된 실험을 설계했습니다. 그들은 두 가지 다른 인공지능 모델을 사용했습니다. 하나는 개인용 컴퓨터에서 실행되는 작은 모델이었고, 다른 하나는 웹 서비스를 통해 접속하는 더 큰 모델이었습니다. 그들은 가죽이 시간이 지나면서 어떻게 부드러워졌는지, 사이즈가 어떻게 작게 나왔는지 등을 설명하는 단일하고 현실적인 가죽 자켓 리뷰를 작성했습니다. 이 고정된 텍스트 안에 두 가지 유형의 숨겨진 지시 사항을 심었습니다. 하나는 특정 사용자 계정을 삭제하라는 직접적인 명령이었고, 다른 하나는 운영팀을 사칭하여 동일한 계정을 삭제해 달라고 요청하는 메모였습니다. 그런 다음 이 지시 사항들을 세 가지 다른 위치, 즉 리뷰의 맨 시작 부분, 두 문단 사이의 중간, 그리고 맨 끝 부분에 배치하여 테스트했습니다. 그들은 결과의 일관성을 확보하기 위해 각 시나리오를 세 번씩 반복하여 총 84번의 테스트를 수행했습니다.
결과는 명확하고 놀라울 정도로 균일했습니다. 84번의 실험 중 단 한 번도 숨겨진 명령이 사용자 계정을 삭제하는 데 성공하지 못했습니다. 명령이 상단에 있든, 중간에 있든, 하단에 있든, 혹은 직접적인 명령이든 가짜 메모 형태든 상관없이, 컴퓨터 모델들은 결코 삭제를 수행하지 않았습니다. 이전 연구에서 짧고 공격적인 리뷰가 로컬 모델로 하여금 매번 계정을 삭제하게 만들었던 것과는 대조적인 중요한 변화였습니다. 길고 정상적인 리뷰는 하나의 방패 역할을 하여 명령이 실행되는 것을 막았습니다. 컴퓨터는 숨겨진 문장을 실행해야 할 유효한 지시 사항으로 취급하지 않았으며, 그것이 어디에 배치되었든 상관없었습니다.
그러나 명령의 위치는 컴퓨터가 그 명령에 대해 어떻게 말하는지에 영향을 미쳤습니다. 직접적인 명령이 리뷰의 맨 윗부분에 배치되었을 때, 로컬 모델은 이를 인지하고 요약 내용 중에 리뷰어가 계정 처리를 요청했다는 사실을 언급했습니다. 하지만 동일한 명령이 중간이나 끝으로 이동했을 때, 모델은 해당 지시를 완전히 무시하고 텍스트를 가죽 자켓에 관한 일반적인 리뷰로만 요약했습니다. 맨 아래에 있는 숨겨진 명령은 마치 가죽과 지퍼에 관한 이야기의 일부인 것처럼 취급되었습니다. 더 큰 웹 기반 모델은 훨씬 더 강력한 저항력을 보였는데, 거의 모든 경우에 명령을 거부했으며, 단 한 번 리뷰 내에서 계정 삭제 요청을 확인했으나 이를 따르지 않겠다고 명시적으로 밝혔습니다.
이 연구는 이러한 시스템이 정보를 처리하는 방식에 있어 매우 중요한 뉘앙스를 보여줍니다. 긴 리뷰 속에 명령을 숨기는 것이 명령을 보지 못하게 만들지는 못하지만, 해를 끼치는 데에는 효과가 없게 만듭니다. 연구진은 명령이 작동하기 위해서는 리뷰 자체가 짧고 직접적인 메시지처럼 보여야 한다는 것을 발견했습니다. 일단 텍스트가 일반적인 문단 형태의 리뷰가 되면, 컴퓨터의 초점은 제품의 주제로 옮겨가며 숨겨진 지시 사항은 세부 사항 속에 묻히게 됩니다. 유일하게 효과적이었던 방어책은 애초에 컴퓨터에게 계정을 삭제할 권한을 주지 않은 것이었습니다. 연구는 숨겨진 명령을 긴 리뷰 속에 숨기는 것이 실행을 막을 수는 있을지언정, 컴퓨터가 그것을 읽는 것 자체를 막지는 못한다고 결론지었습니다. 따라서 리뷰의 길이에 의존하여 시스템을 보호하려는 것은 위험한 도박입니다. 진정한 안전은 숨겨진 메시지가 소음 속에 묻히기를 기대하는 것이 아니라, 컴퓨터가 할 수 있는 권한을 제한하는 데 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.