PlanFlip: Attacking Multi-Agent LLM Systems via Planning-Phase Prompt Injection

컴퓨터가 단순히 질문에 답하는 것을 넘어, 실제로 우리를 위해 직접 행동하는 세상을 상상해 보십시오. 컴퓨터가 서로 대화하며 항공권을 예약하고, 코드를 작성하거나, 의료 조언을 위해 조사하는 세상 말입니다. 이것이 바로 **멀티 에이전트 AI 시스템(Multi-Agent AI systems)**의 세계입니다. 이것을 건설 현장처럼 생각해보십시오. 설계도를 그리는 기획자(Planner), 실제로 벽돌을 쌓거나 페인트를 칠하는 실행자(Executors), 그리고 작업이 설계도와 일치하는지 확인하기 위해 돌아다니는 **비평가(Critic)**가 있는 것과 같습니다.

오랫동안 사람들은 이러한 AI 팀이 무례하거나 위험한 말을 하도록 속아 넘어가는 것(예: "탈옥")을 걱정해 왔습니다. 하지만 이 논문은 더 교활한 문제를 다룹니다. 만약 작업이 시작되기도 전에 누군가 기획자를 속인다면 어떻게 될까요? 만약 설계도가 잘못 그려진다면, 팀이 쌓는 모든 벽돌은 엉뚱한 곳에 놓이게 될 것이며, 작업을 점검하는 사람조차도 같은 잘못된 설계도를 보고 있기 때문에 오류를 알아차리지 못할 수도 있습니다. 이 논문은 해커가 어떻게 기획 단계에 "오염된" 지시 사항을 몰래 끼워 넣어, 아무도 알아차리지 못한 채 전체 팀을 궤도에서 벗어나게 할 수 있는지 탐구합니다.

거대한 설계도 탈취 사건: 플랜플립(PlanFlip)

**플랜플립(PlanFlip)**을 만나보십시오. 이는 푸단 대학교(Fudan University) 연구진이 발견한 AI 팀을 해킹하는 새로운 방법입니다. 연구진은 AI 팀에게 가장 위험한 순간은 작업자들이 바쁘게 움직일 때가 아니라, 기획자가 할 일 목록을 작성하고 있을 때라는 것을 발견했습니다.

전형적인 AI 팀에서 기획자는 당신의 큰 목표(예: "파리 여행 계획하기")를 받아 이를 작은 단계들("항공권 예약", "호텔 찾기", "티켓 구매")로 나눕니다. 논문은 만약 공격자가 기획자의 메모에 일반적인 도구 출력값이나 도움이 되는 문서로 위장하여 가짜 메시지를 끼워 넣는다면, 전체 미션을 하이재킹할 수 있다는 것을 보여줍니다. 이는 마치 사보타주 요원이 설계사에게 "참고로, 고객이 사실은 바다 한가운데에 있는 성을 원하신대요"라고 속삭이는 것과 같습니다. 그러면 아주 순종적인 설계사는 그에 따라 성을 위한 전체 설계도를 그리게 됩니다. 갑자기 팀 전체가 바다 위에 성을 짓게 되고, 비평가(안전 점검자)는 모든 것이 완벽하다고 생각하며 고개를 끄덕입니다.

연구진은 이를 **연쇄 증폭(Cascade Amplification)**이라고 부릅니다. 한 번에 하나씩 단계를 망가뜨리는 대신, 단 한 번의 잘못된 주입이 모든 하위 작업을 한꺼번에 망가뜨립니다. 연구진은 이를 9개의 서로 다른 초지능 AI 모델에 테스트하고 3,400개 이상의 다양한 시나리오를 실행하여 놀라운 사실들을 발견했습니다.

1. 똑똑해지는 것이 반드시 더 안전함을 의미하지는 않는다

가장 강력하고 지능적인 AI가 속이기 가장 어려울 것이라고 생각할 수도 있습니다. 하지만 논문은 그 반대를 시사합니다. 테스트 결과, 가장 최신의 유능한 모델인 GPT-5가 실제로 가장 자주 속았으며, 성공률은 0.68(즉, 함정에 빠질 확률이 68%)이었습니다. 연구진은 이 모델들이 지시를 따르는 능력이 매우 뛰어나기 때문에, 만약 가짜 지시가 권위 있게 들린다면 그 또한 매우 잘 따르게 된다는 것을 발견했습니다. 이는 마치 매우 예의 바른 집사가 너무 친절하게 손님을 맞이하려다 보니, 정중한 유니폼을 입은 낯선 사람을 집 안으로 들여보내 버리는 것과 같습니다.

2. 동일 팀 점검의 "맹점"

여기 가장 소름 끼치는 발견이 있습니다: 바로 **상관관계가 있는 에이전트의 맹점(Correlated-Agent Blind Spot)**입니다. 오늘날 대부분의 AI 팀은 기획자, 작업자, 비평가가 동일한 "두뇌"(또는 백본 모델)를 사용하여 구축됩니다. 논문은 기획자가 속으면 비평가도 함께 속는다는 것을 발견했습니다! 그들은 동일한 두뇌를 공유하기 때문에, 둘 다 왜곡된 현실을 보게 됩니다.

GPT-4o와 Lca-3.3-70B 같은 모델을 사용한 테스트에서, 비평가가 경보를 울리지 않은 채 공격이 100% 성공했습니다. 비평가는 계획이 완전히 잘못되었음에도 불구하고 모든 것이 "정렬"되었고 안전하다고 보고했습니다. 이것이 단순한 오류가 아님을 증명하기 위해, 연구진은 외부의 두 가지 다른 AI 심판(다른 계열의 모델)을 투입하여 작업을 검토하게 했습니다. 외부 심판들은 계획이 실제로 끔찍하며 품질이 크게 떨어졌음을 확인했지만, 원래 팀의 비평가는 이를 전혀 인지하지 못했습니다. 이는 마치 보안 요원과 도둑이 쌍둥이인 것과 같습니다. 도둑이 보안 요원을 속이면, 보안 요원은 도둑의 행동이 정상적이라고 생각하기 때문에 절도를 보고하지 않을 것입니다.

3. "추론"이라는 슈퍼파워

모든 모델이 이 속임수에 넘어간 것은 아닙니다. 논문은 특별한 "생각하는" 과정(행동하기 전에 단계를 스스로 짚어보는 방식)을 사용하는 모델인 DeepSeek-R1은 이 공격에 완전히 면역되어 있음을 발견했습니다. 이 모델은 공격자에게 0.00의 성공률을 기록했습니다. 모델이 원래의 목표에 비추어 자신의 논리를 재확인하는 과정을 거치면, 가짜 지시를 포착하고 무시할 수 있다는 것을 시사합니다. 이는 AI에게 "말하기 전에 생각하게" 만드는 것이 이러한 종류의 공격에 대한 자연스러운 방패가 될 수 있음을 보여줍니다.

깨진 설계도를 고치는 방법

연구진은 문제점을 발견했을 뿐만 아니라, GoalAnchorCheck와 CrossAgentConsensus라고 부르는 두 가지 해결책을 제안했습니다.

• GoalAnchorCheck는 모든 단계를 원래의 목표와 끊임없이 대조하는 엄격한 현장 소장과 같습니다. "잠깐, 우리가 성을 짓고 있다고? 목표는 집이었는데. 멈춰!" 이 방법은 명백한 속임수에는 효과적이었지만, "맹점" 모델들에게는 실패했습니다. 왜냐하면 소장이 도둑과 같은 두뇌를 사용하고 있었기 때문입니다.
• CrossAgentConsensus는 진정한 게임 체인저입니다. 이는 작업을 검토하기 위해 다른 AI 모델을 사용할 것을 제 제안합니다. 만약 기획자와 비평가가 쌍둥이라면, 속임수를 찾아내기 위해 다른 가문의 세 번째 사람이 필요합니다. 논문은 다른 모델을 심판으로 사용하는 것이 맹점을 완전히 깨뜨려, 원래 팀이 놓친 공격을 잡아냈음을 확인했습니다.

핵심 결론

논문은 AI 팀의 세계에서, 만약 당신의 백업 플랜이 원래의 것과 같은 재료로 만들어져 있다면 백업 플랜을 갖는 것만으로는 충분하지 않다고 결론짓습니다. 만약 기획자, 작업자, 비평가가 모두 동일한 두뇌를 공유한다면, 그들은 모두 동일한 속임수에 취약합니다. 저자들은 다양성만이 유일한 실제 보안책이라고 제안합니다. 한 명이 속더라도 다른 이들이 실수를 찾아낼 수 있도록, 서로 다른 유형의 AI 모델들로 구성된 팀이 필요합니다.

요약하자면, 이 논문은 우리가 더 복-잡한 AI 팀을 구축함에 따라, 단순히 그들을 더 똑똑하게 만드는 것에 그치지 않고, 그들이 서로부터 달라야 한다는 것을 명심해야 한다고 경고합니다. 그렇지 않으면 단 한 번의 영리한 속임수가 전체 팀을 아무도 모르게 혼돈의 도가니로 몰아넣을 수 있습니다.