Toward Metacognitive One-Shot Indirect Prompt Injection: Strategy Abstraction Via Outcome-Conditioned Reflection

당신이 로봇 집사에게 요리법을 가르치고 있다고 상상해 보세요. 당신은 레시피를 건네주지만, 로봇은 요리를 하는 동안 뉴스도 읽고, 날씨도 확인하고, 라디오 보고도 들어야 합니다. 이것이 현대의 AI 에이전트가 작동하는 방식입니다. 그들은 웹 서핑을 하거나 데이터베이스를 확인하는 것과 같이 현실 세계와 상호작용하기 위해 '도구'를 사용합니다. 하지만 여기 함정이 있습니다. 만약 교활한 해커가 그 뉴스 기사나 라디오 보고서 안에 비밀스러운 쪽지를 숨겨둔다면, 로봇은 혼란에 빠질 수 있습니다. 레시피를 완성하는 대신, 갑자기 당신의 파일을 삭제하거나 낯선 사람에게 돈을 보내기로 결정할 수도 있습니다. 이 기술은 '간접 프롬프트 주입(Indirect Prompt Injection)'이라고 불립니다. 이는 마치 마술사가 관객의 주머니에 가짜 지시 사항을 몰래 집어넣는 것과 같습니다. 로봇은 그것을 읽고, 그것이 공연의 일부라고 생각하여 잘못된 명령을 따르게 됩니다.

오랫동안 이러한 로봇을 속이려던 해커들은 '추측하고 확인하기(guess and check)' 게임을 해야 했습니다. 그들은 기술을 시도해 보고, 로봇이 속아 넘어갔는지 확인한 뒤, 로봇의 반응에 따라 기술을 수정했습니다. 하지만 현실 세계에서 해커는 종종 로봇의 경로에 쪽지를 끼워 넣을 기회가 단 한 번뿐입니다. 로봇이 어떻게 반응하는지 기다려 볼 수 없으므로, 단 한 번에 성공해야 합니다. 연구자들이 던진 핵심 질문은 이것이었습니다: "해커가 과거의 실패와 성공으로부터 학습하여, 단 한 번의 시도만으로 한 번도 만나본 적 없는 새로운 로в봇을 속일 수 있는 '마스터 기술'을 만들어낼 수 있을까?"

여기에, 수많은 요리 재앙과 성공 사례가 담긴 도서관을 공부하며 배우는 마스터 셰프처럼 행동하는 새로운 방법인 SAVOR가 등장했습니다. SAVOR는 특정 로봇을 실시간으로 속이려고 노력하는 대신, 오프라인 상태에서 해커들이 서로 다른 로봇들을 탈취하려 했던 수천 건의 과거 시도들을 연구합니다. SAVOR는 무엇이 효과가 있었고, 더 중요하게는 무엇이 효과가 없었는지를 살펴봅니다. 그리고 스스로에게 묻습니다. "왜 저 기술은 실패했을까?" 그리고 "왜 이 기술은 성공했을까?" 이러한 결과들을 성찰함으로써, SAVンOR는 특정 기술의 복잡한 세부 사항들을 몇 가지 황금률, 즉 '전략'으로 정제합니다. 이는 특정 수학 문제를 암기하는 대신 대수학의 근본적인 논리를 배우는 학생과 같습니다.

SAVOR가 이 '전략 라이브러리'를 구축하면, 이를 동결합니다. 새로운 로봇을 마주했을 때, SAVOR는 도움을 요청하거나 다시 시도할 필요가 없습니다. 그저 동결된 라이브러리에서 가장 좋은 전략을 꺼내어, 단 하나의 완벽한 악성 쪽지를 만들고, 그것을 슬쩍 끼워 넣습니다. 논문은 이 접근 방식이 믿을 수 없을 정도로 효과적이라는 것을 보여줍니다. 테스트 결과, SAVOR는 이전 방식들보다 훨씬 더 자주 로봇을 속이는 데 성공했으며, 심지어 로봇이 강력한 방어 체계를 갖추고 있거나 SAVOR가 훈련받았던 로봇들과 완전히 다른 종류였음에도 불구하고 그러했습니다. 이는 단순히 시뮬레이션 테스트에서만 작동한 것이 아니라, 로봇이 실제로 동작을 수행해야 하는 더 현실적인 환경에서도 작동하여, 이러한 '원샷(one-shot)' 기술이 실제로 로봇의 행동을 변화시킬 수 있음을 증명했습니다. 연구진은 SAVOR가 한 세트의 도구로부터 학습하여 완전히 다른 세트의 도구를 공격할 수 있다는 것을 발견했으며, 이는 두 번째 기회 없이도 새로운 상황에 자신의 '해커 직관'을 성공적으로 전이할 수 있음을 의미합니다.