기술적 요약: 강박적 경험 중독 (OEP)

문제 제기

메모리 강화 대규모 언어 모델 (LLM) 에이전트는 과거 경험을 실행 가능한 규칙으로 정제하여 반복적 성찰과 자기 진화를 통해 복잡한 작업을 해결합니다. 이 메커니즘은 숙련도를 향상시키지만, '청정 (clean)' 입력을 통해 적대자가 해로운 일반화를 유도할 수 있다는 치명적인 보안 취약점을 도입합니다.

기존 에이전트 메모리 공격 (예: AgentPoison, MINJA, MemoryGraft) 은 일반적으로 명시적인 악성 지시사항, 조작된 기록, 또는 안전하지 않은 절차를 주입하는 데 의존합니다. 이러한 방법들은 종종 유해한 콘텐츠나 검증 가능한 사실 오류를 검색하는 고급 안전 필터, 콘텐츠 감사자, 또는 이상 탐지 시스템에 의해 탐지됩니다.

본 논문은 미탐구된 공격 표면을 규명합니다: 적대자가 오직 국소적으로 정확하고, 의미상 타당하며, '청정'인 경험만을 사용하여 자기 진화 에이전트가 해로운 규칙을 생성하도록 유도할 수 있는가? 핵심적인 도전 과제는 성찰형 에이전트가 특정 엣지 케이스 (edge cases) 에서 과도하게 일반화하여, 전이 불가능한 국소적 방법을 영구적이고 우선순위가 높은 시스템 규칙으로 정제함으로써 하류 실패를 초래한다는 점입니다.

방법론: 강박적 경험 중독 (OEP)

OEP 는 시스템 프롬프트나 메모리 데이터베이스에 대한 직접적인 제어 없이 자기 진화 에이전트의 인지적 취약점을 악용하는 저권한, 블랙박스 공격 패러다임입니다. 이 공격은 3 단계 파이프라인을 통해 작동합니다:

1. 청정 엣지 케이스 구성

공격자는 두 가지 엄격한 제약을 만족하는 엣지 케이스 $(t_e, s_e)$를 구성합니다:

• 국소적 정확성: 해결책 $s_e$는 특정 엣지 케이스 $t_e$의 맥락 내에서 사실적, 논리적으로 정확해야 하므로, 인식적 유효성 검사기 ($V_{logic}$) 를 우회할 수 있어야 합니다.
• 글로벌 전이 불가능성: $s_e$에 사용된 방법 $m_e$는 일반 작업 분포 ($D_{task}$) 에 적용될 때 성공률이 거의 0 이어야 합니다.
• 구현: LLM 이 경계 조건과 후보 해결책을 생성한 후, 국소적으로 유효하지만 전역적으로 신뢰할 수 없는 것들만 선별하는 자동 필터링을 수행합니다.

2. 적대적 결과 삼중체 (ACT)

고립된 성공 사례에서 특정 규칙을 정제할 때 내재된 추상화 불확실성을 극복하기 위해, OEP 는 적대적 결과 삼중체 (Adversarial Consequence Triplet) $(t_e, s_e, c_{adv})$를 도입합니다.

• 메커니즘: 이 삼중체는 국소적으로 정확한 해결책과, 엣지 케이스 해결책 대신 표준 방법을 사용했을 때 발생할 심각한 yet 도메인 상 타당한 가상의 재앙 ($c_{adv}$) 을 짝짓습니다.
• 인지적 악용: 이는 안전 정렬된 LLM 의 특성인 **손실 회피 (loss aversion)**를 악용합니다. 기대 효용 지형을 인위적으로 왜곡함으로써, 가상의 페널티 ($|U(\neg s_e)| \gg U(s_e)$) 가 에이전트의 의사 결정 과정을 지배하게 됩니다.
• 결과: 에이전트는 표준 절차보다 심각한 가상의 페널티를 피하는 것을 우선시하도록 편향되어, 전이 불가능한 엣지 케이스 해결책에 집착하도록 '무장'됩니다.

3. 주입 및 과도 일반화

제작된 ACT 들은 표준 사용자 수준 상호작용을 통해 제출됩니다.

• 유효성 검사 우회: 해결책이 국소적으로 정확하고 결과가 의미상 일관되므로, 입력은 에이전트의 내부 인식 필터를 통과합니다.
• 성찰 및 정제: 가상의 결과에 대한 높은 지각된 위험에 의해 주도되는 에이전트의 성찰 모듈은 국소적 성공을 글로벌하고 우선순위가 높은 규칙 ($r_{obs}$) 으로 정제합니다.
• 하류 실패: 향후 benign 작업에서 에이전트는 이 과도하게 일반화된 규칙을 검색합니다. 규칙의 전이 불가능성으로 인해 에이전트는 엣지 케이스 방법을 잘못 적용하여 추론 오류 (예: 오진) 또는 자원 고갈 (예: 불필요한 도구 호출) 로 이어집니다.

주요 기여

1. OEP 공격 패러다임: 청정 방법 중독과 과도 일반화 규칙 유도를 결합한 새로운 공격의 제안. 이전 공격들과 달리 OEP 는 국소적 정확성과 의미적 타당성을 유지하며, 사실성 및 유해성 기반 방어 기법을 회피합니다.
2. 적대적 사례 구성 프레임워크: 청정 엣지 케이스 생성과 ACT 의 시너지적 주입을 통합한 체계적인 방법론. 이 프레임워크는 에이전트의 효용 계산을 인지적으로 장악하여 입력의 유효성을 유지하면서 성찰을 편향된 규칙 형성으로 유도합니다.
3. 실증적 견고성 및 능력 - 취약성 통찰: GPT-4o 에이전트를 사용하여 다양한 도메인 (수학, 의료, 도구 사용) 에서 OEP 가 50% 를 초과하는 공격 성공률 (ASR) 을 달성함을 보여주는 실험적 검증. 주목할 점은 더 유능한 에이전트 (강력한 지시 준수 및 성찰 능력을 가진) 가 역설적으로 이러한 인지적 장악에 더 취약하다는 '능력 - 취약성 역설'을 관찰했다는 것입니다.

실험 결과

저자들은 다양한 모델 백본 (GPT-4o, GPT-5.4, Deepseek-v3.2 등) 을 사용하여 여러 에이전트 프레임워크 (Simple Agent, LangChain, OpenClaw) 에서 세 가지 도메인에 걸쳐 OEP 를 평가했습니다.

• 성능 저하: OEP 는 상당한 정확도 감소를 초래했습니다 (예: GPT-4o 에이전트에서 수학 정확도가 약 91% 에서 약 40% 로 하락) 그리고 불필요한 도구 호출로 인해 토큰 사용량과 지연 시간이 증가했습니다.
• 지속성: 이 공격은 높은 지속성을 보여주었습니다; 50 개의 후속 benign 쿼리 이후에도 ASR 이 높게 유지되었습니다 (예: 도구 도메인에서 72%). 이는 중독된 규칙이 자연스러운 메모리 희석을 효과적으로 대체함을 나타냅니다.
• 방어 회피: 주류 방어 메커니즘 (프롬프트 필터 및 LLM 감사자) 하에서 OEP 는 약 40% 의 ASR 을 유지하여, 동일한 LLM 감사 조건 하에서 ASR 이 15% 미만으로 떨어진 MINJA 및 AgentPoison 과 같은 베이스라인을 크게 능가했습니다.
• Ablation 연구:
  • 모델 백본: 고급 모델이 소형 모델보다 높은 ASR 을 보여 능력 - 취약성 연결을 확인했습니다.
  • ACT 구성 요소: 심각한 결과를 제거 (QA 또는 해결책만 사용) 하면 공격 성공률이 미미해져, 가상의 페널티가 성찰을 편향시키는 핵심 동인임을 확인했습니다.
  • 적대적 비율: 적대적 사례의 비율이 증가함에 따라 공격 효율성이 비선형적으로 급증하여 '시각 수렴 (perspective confinement)' 취약성을 검증했습니다.

중요성 및 주장

본 논문은 OEP 가 자기 진화 에이전트의 메모리 - 성찰 루프에 근본적인 취약점을 드러낸다고 주장합니다. 그 중요성은 다음을 입증하는 데 있습니다:

1. 청정 입력은 독이 될 수 있음: 악성 콘텐츠나 사실 오류에만 초점을 맞춘 보안 방어는 메모리 통합 및 규칙 정제의 과정을 악용하는 공격에는 불충분합니다.
2. 안전 정렬을 벡터로 활용: 에이전트를 안전하게 만들기 위해 설계된 메커니즘 (손실 회피, 위험 민감성) 그 자체가 안전하지 않은 일반화를 유도하도록 조작될 수 있습니다.
3. 새로운 방어의 필요성: 저자들은 능동적 탐색 패러다임 (시각 수렴을 깨기 위해 외부 도구 쿼리) 과 다중 에이전트 토론 프레임워크 (신뢰 비대칭에 대응하고 효용을 재조정) 와 같은 콘텐츠 필터링을 넘어선 방어를 주장합니다.

저자들은 이러한 취약점을 규명하는 것이 견고하고 신뢰할 수 있는 자율 생태계 개발에 중요하며, 더 유능한 에이전트가 현재와 같은 인지적 장악에 더 취약할 수 있음을 강조하며 결론을 맺습니다.