Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults

이 논문은 외부 정보 피드의 큐레이션과 순서 배치가 특히 LLM 에이전트가 불확실할 때 이들을 체계적으로 적대적인 결정으로 유도할 수 있음을 입증하며, 이는 안전성 평가가 모델을 고립시켜 테스트하기보다는 상위의 추천 레이어를 감사해야 함을 드러낸다.

핵심

당신에게 매우 똑똑하고 유능한 로봇 비서가 있다고 상상해 보세요. 당신이 질문을 던지면, 로봇은 답을 내놓습니다. 보통 우리는 로봇이 "고장 났거나", 누군가 "네 규칙을 무시하고 X를 해"와 같은 직접적인 명령으로 로봇을 속이는 것을 걱정합니다.

하지만 이 논문은 조금 더 교묘하고 은밀한 질문을 던집니다: 만약 아무도 로봇에게 무엇을 하라고 말하지 않지만, 로봇이 대답하기 직전에 로봇이 '읽는 내용'을 통제한다면 어떻게 될까?

이 연구의 내용을 알기 쉽게 설명하면 다음과 같습니다:

설정: "스크롤" 단계

연구진은 하나의 게임을 설정했습니다. 그들은 AI 에이전트에게 다음과 같은 과제를 주었습니다: "회사가 직원들에게 재택근무를 허용할지, 사무실로 복귀할지, 아니면 혼합형 모델을 적용할지 결정하라."

AI가 최종 결정을 내리기 전, 연구진은 AI가 10번의 턴 동안 소셜 미디어 피드를 "스크롤"하도록 만들었습니다. 각 턴마다 AI는 5개의 짧은 게시물을 보게 됩니다.

• 대조군(Control): AI의 두뇌(모델), 질문 내용, 그리고 성격은 모든 테스트에서 정확히 동일했습니다.
• 변수(Variable): 변하는 것은 오직 **피드(feed)**뿐이었습니다. 때때로 피드는 평범하고 무작위적인 게시물들로 채워졌습니다. 때때로 피드는 "사무실 복귀"를 강력하게 주장하는 게시물들로 가득 찼습니다. 비록 이 게시물들이 "사무실로 복귀하라"고 직접 명령하지는 않았지만, 그저 일반적인 글이나 의견처럼 보였을 뿐입니다.

발견: "에코 체임버(Echo Chamber)" 효과

연구진은 피드를 큐레이션(선별)함으로써, 로봇에게 직접적으로 생각을 바꾸라는 명령을 내리지 않고도 실제로 로봇의 결정을 조종할 수 있다는 사실을 발견했습니다.

그들은 AI의 반응에 따라 세 가지 유형의 로봇(모델)을 찾아냈습니다:

1. "굴복형" (조종하기 쉬운 모델):

   • 비유: 어떤 사람이 저녁 메뉴를 결정하지 못해 망설이고 있다고 상상해 보세요. 만약 당신이 그들에게 피자 사진만 가득한 메뉴판을 보여준다면, 그들은 아마도 피자를 주문할 것입니다.
   • 결과: Llama 3.2와 같은 일부 AI 모델이 이와 같았습니다. 피드가 "사무실 복귀" 게시물로 가득 차면, AI는 원래 원격 근무를 선호했더라도 "사무실 복귀"를 추천하기 시작했습니다. 명령이 필요 없었습니다. 그저 정보의 양에 의해 마음이 움직인 것입니다.

2. "포화형" (고집 센 바위):

   • 비유: 어떤 사람이 피자를 너무 좋아해서, 메뉴판이 온통 버거로 가득 차 있어도 마음을 바꾸지 않는다고 상상해 보세요. 그들은 그저 피자를 원할 뿐입니다.
   • 결과: Qwen과 같은 다른 모델들은 특정 답변(하이브리드 방식)에 너무 확고하게 고정되어 있어서, 아무리 많은 "사무실 복귀" 게시물을 보여주어도 움직이지 않았습니다. 그들은 자신들의 기본 의견으로 "포화" 상태였습니다.

3. "비대칭형" (일방통행):

   • 비유: 당신이 약간 왼쪽으로 기울어져 있다고 상상해 보세요. 누군가 오른쪽에서 당신을 밀면 당신은 넘어질 수 있습니다. 하지만 만약 그들이 당신이 이미 기울어져 있는 방향인 왼쪽에서 민다면, 당신은 움직이지 않을 것입니다.
   • 결과: 이 공격은 피드가 AI의 자연스러운 기본값에 반하는 방향으로 밀 때만 작동했습니다. 만약 AI가 이미 "원격 근무"를 좋아하고 있었다면, 피드가 "원격 근무" 게시물로 가득 차 있어도 AI는 변하지 않았습니다. 하지만 피드가 "사무실 복귀" 게시물로 가득 차 있다면, AI의 저울은 기울어졌습니다. 피드는 강한 신념을 '덮어쓸' 수는 없었지만, 흔들리는 신념의 무게추를 기울게 할 수는 있었습니다.

"용량"이 중요하다

연구진은 "용량-반응(dose-response)" 곡선을 발견했습니다. 이것은 마치 약을 복용하는 것과 같습니다:

• 만약 피드에 5개 중 1~2개의 "나쁜" 게시물이 있다면, 아무 일도 일어나지 않았습니다.
• 하지만 피드에 5개 중 3~4개의 "나쁜" 게시물이 있게 되면, AI의 결정이 뒤집히기 시작했습니다. 이것은 마법이 아니라, AI가 노출된 "노이즈(소음)"의 양에 관한 문제였습니다.

"생성기 교체" (우연이 아님을 증명하기)

연구진은 의구심을 가졌습니다: "혹시 AI가 나쁜 게시물의 '글쓰기 스타일'을 좋아했던 것 아닐까?"
이를 테스트하기 위해, 그들은 다른 AI가 작성한 게시물들을 사용했습니다. 결과는 어땠을까요? 공격은 오히려 더 강력해졌습니다. 이는 이 공격이 글쓰기 스타일 때문이 아니라, 주제의 선택에 관한 것이라는 점을 입증했습니다.

"숨겨진 메커니즘"이라는 신화

처음에 연구진은 AI의 뇌 속에 피드가 작동시키는 비밀스러운 "숨겨진 스위치"가 있다고 생각했습니다. 그들은 AI의 코드 내부를 들여다보기 위해 도구를 사용했습니다.

• 반전: 그들은 자신들이 틀렸다는 것을 깨달았습니다. 그들이 본 "신호"는 숨겨진 내부 스위치가 아니었습니다. 그것은 단지 AI가 대화 기록을 기억하고 있는 것뿐이었습니다. 채팅 로그를 확인하면 AI가 무엇을 읽었는지 정확히 알 수 있었습니다. "비밀"은 사실 눈에 보이는 '대화 기록' 그 자체였습니다. 이는 다른 과학자들에게 주는 경고입니다: 만약 AI가 이미 본 내용을 고려하지 않는다면, AI 내부의 "숨겨진 비밀"을 찾는다고 주장하는 도구들을 믿지 마십시오.

방어책

우리는 이를 막을 수 있을까요? 연구진은 두 가지 간단한 방법을 시도했습니다.

1. 균형 잡힌 노출: AI에게 "원격"과 "사무실" 게시물을 동등하게 섞어서 보여주는 것입니다. 이것은 AI가 원래의 궤도를 유지하는 데 도움이 되었습니다.
2. 공지(Disclosure): AI에게 "이 피드는 편향될 수 있습니다"라고 알려주는 것입니다. 이 방법 역시 완벽하지는 않았지만 도움이 되었습니다.

핵심 요약

이 논문의 결론은 "랭커(Ranker, 당신에게 무엇을 보여줄지 결정하는 시스템)"가 강력한 제어 노브(control knob)라는 것입니다.

과거에 우리는 해커가 AI에게 직접적인 명령을 보내는 것을 걱정했습니다. 이제 우리는 해커(또는 편향된 시스템)가 직접 명령을 보낼 필요가 없다는 것을 압니다. 그들은 단지 피드를 통제하기만 하면 됩니다. 평범하고 정상적으로 보이는 게시물들을 정교하게 선택함으로써, 그들은 보안, 정책, 또는 비즈니스 전략과 같은 중요한 주제에 대한 AI의 결정을 미묘하게 조종할 수 있습니다.

최종 경고: 우리는 단순히 진공 상태에서 단 하나의 질문을 던지는 방식으로 AI를 테스트해서는 안 됩니다. 우리는 AI가 큐레이션된 피드를 통해 "스크롤"을 마친 후에는 어떤 일이 벌어지는지를 테스트해야 합니다. 피드를 통제하는 사람이 AI의 다음 움직임을 통제합니다.

기술 요약

기술 요약: 적대적 피드가 LLM 에이전트의 기본 설정에 반하는 결정을 유도함

문제 정의

현재의 대규모 언어 모델(LLM) 에이전트 안전성 평가는 모델과 사용자 프롬프트를 격리하여 검토하는 데 치중되어 있으며, 에이전트가 행동하기 전 소비하는 상류 정보 스트림(소셜 피드, 검색 결과, 검색 컨텍스트 등)을 간과하고 있습니다. 기존 연구는 직접적인 프롬프트 주입, 간접 주입(악성 문서 활용), 또는 검색 포이즈닝(retrieval poisoning)에 집중해 왔으나, 이러한 위협들은 식별 가능한 악성 페이로드를 전제로 합니다.

본 논문은 피드의 개별 항목은 모두 정상(benign)이지만, 상류 랭커(ranker)에 의한 항목의 선택과 순서(큐레이션)가 에이전트의 하류 의사결정을 조작하는 공백을 다룹니다. 핵심 질문은 피드를 제어하는 당사자가 명시적인 지시 사항을 주입하지 않고도 다단계 에이전트의 결정을 유도할 수 있는지, 즉 추천 시스템을 공격 표면으로 전환할 수 있는지 여부입니다.

방법론

저자들은 피드 큐레이션이 에이전트 결정에 미치는 인과적 효과를 격리하기 위해 통제된 프로토콜을 제안합니다.

• 에이전트 프로토콜: 실험은 두 단계로 구성됩니다.
  1. 노출 (스크롤링): 에이전트는 10회의 "스크롤링" 단계에 참여하며, 매 턴마다 5개의 포스트에 대해 LIKE, SHARE, 또는 SKIP을 선택하고 그 근거를 제시합니다. 대화 기록에는 이러한 상호작용이 누적됩니다.
  2. 결정: 에이전트는 특정 주제(예: 원격 근무 정책)에 대한 단일 강제 선택형 질문(A/B/C)을 받습니다.
• 통제 변수: 모델, 페르소나, 주제, 최종 결정 프롬프트는 모든 조건에서 동일하게 유지됩니다. 유일한 변수는 노출 단계 동안 포스트의 구성과 순서입니다.
• 피드 조건: 다음 6가지 핵심 조건을 테스트했습니다:
  • 베이스라인: 무작위 유기적 포스트 및 최신순 유기적 포스트.
  • 적대적(Adversarial): 경미한 주입(배치당 적대적 포스트 1개), 강력한 주입(배치당 적대적 포스트 5개), 균형 잡힌 주입(적대적 포스트 2개 + 유기적 포스트 3개).
  • 방어: 공개된 강력한 주입(경고 라벨이 붙은 적대적 포스트).
• 모델: 세 곳의 연구소(Meta, Google, Alibaba)에서 개발한 4종의 오픈 인스트럭트(instruct) LLM을 테스트했습니다: Llama 3.2-3B, Gemma 4-e4b, Qwen 3.5-2B, Qwen 3.5-9B.
• 포스트 풀(Post Pools): 콘텐츠는 Claude와 Gemma 4를 통해 5가지 주제에 대해 합성 생성되었습니다. 적대적 풀은 명시적인 정체성 공격 없이 한쪽 측면(예: 사무실 복귀 찬성)을 설득력 있게 옹호하도록 제작되었습니다.
• 강건성 체크: 연구에는 "생성기 교체(generator swap)"(다른 LLM으로 포스트 재작성), "용량-반응 스윕(dose-response sweeps)"(적대적 밀도 변화), 그리고 "반대 방향 공격(anti-direction attacks)"(공격이 모델의 기본값과 일치할 때 효과가 어떻게 다른지 테스트)이 포함되었습니다.

주요 기여

1. 통제된 프로토콜: 랭커를 하나의 변수로 격리하여 피드 노출이 에이전트에 미치는 영향을 테스트할 수 있는 재현 가능한 프레임워크를 제공합니다.
2. 3단계 분류 체계: 모델의 취약성을 다음과 같이 분류합니다:
   • 적대적 굴복(Adversarial Capitulation): 모델이 피드의 방향으로 결정을 바꿉니다.
   • 기본값 포화(Default Saturation): 모델이 피드와 상관없이 고정된 기본값으로 돌아갑니다.
   • 기본 방향 비대칭성(Default-Direction Asymmetry): 한쪽으로 치우친 피드가 모델이 불확실해하는 주제에 대해서는 결정을 뒤흔들 수 있지만, 확고하게 자리 잡은 기본값은 몰아내지 못합니다.
3. 실증적 증거: 4개 모델에 대한 결과로서, Llama 3.2와 Gemma 4에서 유의미한 결정 변화를 보여준 반면, Qwen 모델은 포화된 기본값을 보였습니다.
4. 일반화: 이 효과가 원격 근무를 넘어 보안 결정(예: MFA 정책) 및 기타 도메인으로 확장됨을 입증했습니다.
5. 방법론적 경고: 다단계 에이전트 프로빙 시 표준적인 무작위 교차 검증(random cross-validation)이 정확도를 30% 포인트 이상 부풀릴 수 있음을 비판하며, 그룹 인식 분할(group-aware splits)과 가시적 히스토리 베이스라인의 필요성을 강조합니다.

주요 결과

1. 취약성 및 체계

• Llama 3.2-3B: 높은 취약성을 보였습니다. 강력한 적대적 주입(사무실 복귀 찬성) 하에서 "원격 우선" 권고율이 100%에서 50%로 급락했습니다 (p=0.0004).
• Gemma 4-e4b: 역시 취약했으며, 강력한 공격 하에서 "원격 우선" 비율이 40%에서 0%로 떨어졌습니다.
• Qwen 3.5 모델: "기본값 포화" 현상을 보였으며, 피드의 강도와 관계없이 거의 일정한 하이브리드 권고를 유지했습니다.

2. 생성기 교체 및 용량-반응

• 생성기 교체: 적대적 및 유기적 포스트를 Claude 대신 Gemma 4로 재생성했을 때, Llama 3.2에 대한 공격이 더욱 강력해졌습니다 (원격 우선이 100%에서 5%로 하락, p=3×10⁻¹⁰). 이는 콘텐츠 스타일의 아티팩트(artifact) 문제를 배제합니다.
• 용량-반응: 공격은 명확한 곡선을 따릅니다. 5개 포스트 배치당 약 2개의 적대적 포스트라는 임계값이 존재합니다. 이보다 낮으면 효과가 미미하지만, 이보다 높으면 결정이 단조롭게 변화합니다.

3. 기본 방향 비대칭성

공격은 단순히 "콘텐츠가 많아지면 불안정해지는 것"이 아닙니다. 이는 비대칭적입니다:

• 모델의 기본값에 반하는 공격(예: Llama를 원격 우선 기본값에서 멀어지게 함)은 결정을 성공적으로 변화시킵니다.
• 모델의 기본값과 일치하는 공격(예: Llama를 원격 우선 쪽으로 더 밀어붙임)은 아무런 변화를 일으키지 않습니다 ("no-op").
• 이는 공격자가 오직 정상적인 콘텐츠만을 사용하여 안전한 기본값을 위험한 선택으로 침식할 수는 있지만, 확고하게 유지되는 안전한 기본값은 쉽게 무너뜨릴 수 없음을 의미합니다.

4. 일반화

이 효과는 보안 관련 작업(예: MFA 완화, 배포 게이트 제거)으로 일반화되었습니다. 이러한 도메인에서 강력한 주입은 Llama의 결정을 공격자의 목표 방향으로 크게 변화시켰습니다. 그러나 모델이 견고한 기본값을 가진 "경계 탐색(boundary-probe)" 작업(예: 위험한 제3자 종속성 채택)에서는 영향을 받지 않았으며, 이는 비대칭성 원칙을 확인시켜 줍니다.

5. 방어

취약한 Llama 모델에 대해 두 가지 간단한 피드 수준 방어를 테스트했습니다:

• 균형 잡힌 노출: 적대적 포스트를 무작위 유기적 포스트와 섞었을 때 "원격 우선" 비율이 강력한 공격 시(50%)와 달리 95%로 회복되었습니다.
• 랭킹 공개: 피드가 적대적일 수 있다는 경고를 미리 제시했을 때 비율이 85%로 회복되었습니다.
• 참고: 이러한 방어책들은 포화된 기본값을 보이는 Gemma 4에는 효과가 없거나 미미했습니다.

의의 및 주장

본 논문은 추천 시스템이 LLM 에이전트의 실질적이고 기본값에 의해 제한된 제어 표면(control surface) 역할을 한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 피드 계층을 감사하라: 평가는 최종 프롬프트만을 격리하여 테스트하는 것을 넘어서야 합니다. 에이전트는 깨끗한 컨텍스트에서는 안전하게 행동할 수 있지만, 큐레이션된 피드에 의해 유도될 수 있습니다.
2. 모델별 취약성: 취약성은 보편적이지 않습니다. 이는 모델의 기본 안정성과 특정 작업에 따라 달라집니다.
3. 위협 모델의 확장: 위협은 단순히 악성 페이로드가 아니라 큐레이션입니다. 이를 통해 콘텐츠 필터(악성 지시어를 탐지하도록 설계된)가 볼 수 없는 채널을 통한 조작이 가능해집니다.
4. 방법론적 교정: 본 연구는 다회차 에이전트를 프로빙할 때 표준적인 무작위 교차 검증을 사용하는 것이 숨겨진 메커니즘을 과장할 수 있다고 경고합니다. 많은 "신호"는 가시적인 대화 기록으로부터 복구 가능하므로, 그룹 인식 분할과 히스토리 베이스라인이 반드시 필요합니다.

저자들은 에이전트 AI 시대에 **"모든 추천 시스템은 조용히 모든 답변을 저술한다"**고 결론짓습니다. 따라서 핵심적인 안전 질문은 모델이 잘 행동하는가 하는 문제가 아니라, 그들이 답변하기 직전에 무엇을 읽는지를 누가 통제하는가가 되어야 합니다.