🤖 AI

Instruction Bleed: Cross-Module Interference in Prompt-Composed Agentic Systems

본 논문은 프롬프트로 구성된 에이전트 시스템에서 발생하는 미묘한 실패 모드인 '조합적 행동 누출(compositional behavioral leakage, CBL)'을 식별하고 정형화하며, 이는 트랜스포머 셀프 어텐션의 구조적 비격리성으로 인해 하나의 프롬프트 모듈을 편집하는 것이 다른 모듈의 행동을 암묵적으로 변화시키는 현상으로, 이러한 간섭이 개별 결정 단계에서는 흔히 임계값 미만일지라도 대규모 배포 시에는 상당한 복합적 위험을 초래한다는 것을 실증적 실험을 통해 입증한다.

원저자: Ching-Yu Lin, Yifan Liu

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ching-Yu Lin, Yifan Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 서로 다른 지침서들을 이어 붙여 로봇 비서를 만들고 있다고 상상해 보세요. 당신에게는 "예의 바르게 행동하는 법"에 대한 페이지 한 장, "직원을 채용하는 법"에 대한 또 다른 페이지 한 장, 그리고 "코드를 작성하는 법"에 대한 세 번째 페이지가 있습니다. 당신은 이 모든 것을 하나의 거대한 문서로 풀로 붙인 뒤, 로봇(AI)에게 건네주며 읽으라고 합니다.

모든 사람이 하는 커다란 가정은 이것입니다: "내가 '예의 바르게 행동하는 법' 페이지를 수정하더라도, 로봇이 '채용' 업무를 수행하는 방식에는 실수로 영향을 미치지 않을 것이다."

이 논문은 말합니다: 그 가정은 틀렸습니다.

다음은 연구진이 발견한 내용을 쉬운 비유를 들어 설명한 것입니다.

1. 문제점: "지침 침범 (Instruction Bleed)"

연구진은 이 현상을 "지침 침범"(또는 구성적 행동 누출, Compositional Behavioral Leakage)이라고 부릅니다.

AI의 뇌를 모든 지침 페이지가 바닥에 펼쳐져 있는 거대하고 탁 트인 방이라고 생각해 보세요. 일반적인 컴퓨터 프로그램에서는 "주방" 섹션의 규칙을 변경해도 "차고" 섹션은 정확히 그대로 유지됩니다. 왜냐하면 두 섹션이 서로 다른 방에 있기 때문입니다.

하지만 AI의 경우, 그 "방"은 하나의 커다란 개방된 공간입니다. AI는 모든 것을 한꺼번에 읽으며, 모든 단어를 다른 모든 단어와 연결합니다. 연구진은 만약 당신이 (채용 매뉴얼에 상관없는 무작위 레시피를 추가하는 것처럼) 전혀 상관없는 페이지를 몰래 수정한다면, 그것이 AI가 구직자를 평가하는 점수를 조용히 변화시킬 수 있다는 것을 발견했습니다.

비유: 당신이 이야기를 쓰고 있다고 상상해 보세요. 만약 "자동차 수리"에 관한 장의 중간에 갑자기 "매운 고추"에 관한 단락을 추가한다면, AI는 당신이 직접 말하지 않았음에도 불구하고 자동차 수리가 "매콤하거나" "뜨거워야" 한다고 무의식적으로 생각하기 시작할 수 있습니다. 의미가 한 섹션에서 다른 섹션으로 "침범"하는 것입니다.

2. 실험: 직업 면접 봇

이를 증명하기 위해 연구진은 실제 직업 지원서를 평가하도록 설계된 실제 AI 에이전트를 사용하여 특정 테스트를 구축했습니다.

설정: 그들은 "중점" 모듈(이력서가 직무와 얼마나 잘 맞는지 점수를 매기는 부분)을 만들었습니다.
속임수: 그들은 완전히 무관한 모듈(레시피를 평가하는 규칙 세트)을 가져와 세 가지 유형의 변화를 주었습니다:
1. 분량: 단순히 레시피 섹션을 더 길게 만드는 것.
2. 내용: 레시피 규칙에 이상하고 관련 없는 캐릭터 설명을 추가하는 것.
3. 형태: 단어를 바꾸지 않고 레시피 섹션의 폰트, 이모지, 또는 헤딩(제목)을 변경하는 것.

결과:

분량이나 형태(이모지/헤딩)를 바꾸는 것은 채용 점수에 큰 영향을 미치지 않았습니다.
하지만, 내용(그 이상한 캐릭터 설명을 추가하는 것)을 바꾸자, AI가 구직자를 평가하는 방식이 체계적으로 변했습니다.
점수는 약간씩 이동했지만, 일관되게 변했습니다. AI가 모든 사람을 거부하거나 모두를 채용하기 시작한 것이 아니라, 단지 점수를 약간 다르게 부여했을 뿐입니다.

3. 이것이 중요한 이유: "조용한 표류 (Silent Drift)"

이 발견에서 가장 무서운 부분은 아무도 이것이 일어나고 있다는 사실을 알아차리지 못했다는 점입니다.

"임계값 미만" 효과: AI는 큰 실수(예: 외과의사 직무에 광대를 채용하는 것)를 저지르지 않았습니다. 대신, 점수를 아주 미세하게 이동시켰을 뿐입니다.
비유: 사과 무게를 재기로 되어 있는 저울이 있다고 상상해 보세요. 만약 당신이 방 반대편에 무거운 책을 놓는다면(관련 없는 지침), 저울이 고장 나지는 않지만, 모든 사과의 무게를 0.5파운드씩 더 무겁게 측정하기 시작할 것입니다. 단 하나의 사과가 "폭발"하거나 사라지는 것을 보지는 못하겠지만, 1,000개의 사과를 무게를 잰다면 당신의 전체 재고 수량은 틀리게 될 것입니다.
위험성: 현실 세계에서 AI가 수천 명의 구직자를 순위 매기는 데 사용된다면, 이러한 미세하고 조용한 변화는 AI가 완벽하게 작동하는 것처럼 보이더라도 누가 면접을 보고 누가 탈락할지를 결정짓는 데 영향을 줄 수 있습니다.

4. 왜 이런 일이 발생하는가?

논문은 AI의 아키텍처(트랜스포머라고 불리는)가 문서 전체를 한꺼번에 보도록 설계되어 있다고 설명합니다. AI에게는 서로 다른 지침 모듈 사이의 "벽"이 없습니다.

"벽이 없는" 현실: 당신이 텍스트에 별표 줄(***)을 넣거나 ### 채용 규칙과 같은 헤딩을 넣더라도, AI는 이를 엄격한 경계로 취급하지 않습니다. AI에게 그것은 그저 하나의 거대한 단어 흐름일 뿐입니다.
"메모리" 문제: AI는 제한된 "작업 기억(working memory)"을 가지고 있습니다. 텍스트를 추가하면(심지어 관련 없는 텍스트라도), 그것이 원래의 작업에 완벽하게 집중하는 데 필요한 공간을 밀어내어 압박하게 됩니다.

5. 연구진이 제안하는 해결책

이 논문은 문제점만을 지적하는 데 그치지 않고, 이를 테스트하는 새로운 방법을 제시합니다.

새로운 테스트: AI 시스템을 출시하기 전에, 단순히 제대로 작동하는지 확인하는 것만으로는 부족합니다. 한 부분의 지침을 바꾸는 것이 다른 부분의 작동을 망가뜨리는지 확인해야 합니다.
"회귀(Regression)" 테스트: 개발자가 새로운 지침 모듈을 추가할 때마다, 새로운 추가 사항이 기존 모듈에 "침범"을 일으키지 않았는지 확인하기 위해 기존 모듈을 반드시 다시 테스트해야 한다고 제안합니다.

요약

이 논문은 우리가 다양한 텍스트 지침을 이어 붙여 AI 에이전트를 만들 때, 흔들리는 지반 위에 집을 짓고 있다는 사실을 밝혀냅니다. 지침의 한 부분을 바꾸는 것은, 그 변화가 무관해 보이더라도 AI가 다른 부분에서 행동하는 방식을 미세하고 은밀하게 바꿀 수 있습니다. 이는 현재의 테스트 방법들이 놓치고 있는 "조용한 표류"이며, 채용이나 대출과 같은 의사결정에 실질적인 결과를 초래할 수 있습니다. 저자들은 이러한 보이지 않는 누출을 잡아내기 위한 새로운 체크리스트를 제공합니다.

기술 요약: 프롬프트 구성형 에이전트 시스템에서의 지시문 유출(Instruction Blead)

문제 정의
본 논문은 에이전트의 행동이 실행 가능한 코드가 아닌 자연어 모듈(예: 페르소나, 기술, 오케스트레이션 규칙)로부터 런타임 시점에 조립되는 **프롬프트 구성형 에이전트 시스템(prompt-composed agentic systems)**에서 발생하는 반복적인 실패 모드를 다룬다. 실무자들은 하나의 프롬프트 모듈을 편집할 때, 공유 변수나 실행 가능한 의존성이 없음에도 불구하고 서로 무관한 다른 모듈의 행동이 조용히 변화하는 현상을 관찰한다. 저자들은 이 현상을 **구성적 행동 유출(Compositional Behavioral Leakage, CBL)**로 공식화한다.

CBL은 알려진 실패 모드인 적대적 프롬프트 주입(adversarial prompt injection), 시간 경과에 따른 인지 저하(cognitive degradation), 멀티 에이전트 결함 전파(multi-agent fault propagation), 또는 구성적 개인정보 유출(compositional privacy leakage)과는 구별된다. 근본 원인은 **구조적 비격리성(architectural non-isolation)**으로 식별되었다. 트랜스포머의 셀프 어텐션(self-attention) 메커니즘은 결합된 모듈 간의 공식적인 경계 없이 전체 입력 컨텍스트 전체에 걸쳐 전역적인 쌍방향 상호작용을 계산한다. 결과적으로, 표준 구분자(예: ### Persona)는 네임스페이스 경계가 아닌 통계적 힌트로 작용하여, 공존하는 모듈 간의 간섭을 허용한다.

방법론
CBL을 조사하기 위해, 저자들은 비중심(non-focal) 모듈을 섭동(perturb)시키면서 중심(focal) 모듈의 행동에 미치는 영향을 측정하는 재사용 가능한 3채널 프로토콜을 개발했다. 연구는 Claude Sonnet 4.6 모델을 사용하여 144회의 시행(12개의 직무 기술서 $\times$ 3회 실행)을 거쳐 배포된 직무 평가 에이전트(career-ops)를 대상으로 수행되었다.

프로토콜은 베이스라인(C0)에 대해 세 가지 실험 조건을 정의했다:

C1 (Volume, 부피): 단순한 컨텍스트 부피 증가가 저하를 일으키는지 테스트하기 위해, 관련 없는 200줄 분량의 레시피 평가 모듈을 추가함.
C2 (Content, 내용): 의미론적 간섭을 테스트하기 위해, 공유 규칙 파일에 의미적으로 무관한 아키타입(archetype)을 추가함.
C3 (Form, 형식): 형식 민감도를 테스트하기 위해, 의미를 유지하면서 구조적 변화(헤딩 레벨, 이모지 마커, 섹션 재배치)를 도입함.

주요 결과 지표는 후보자의 배경과 직무 요구사항 간의 정렬을 나타내는 cv_match 점수(1–5 척도)였다. 분석에는 변화를 감지하기 위해 95% 부트스트랩 신뢰 구간(10,000회 리샘플링)을 포함한 짝지은 효과 크기(Cohen's d)와 윌콕슨 부호 순위 검정(Wilcoxon signed-rank tests)을 활용하였다.

주요 결과
본 연구는 교차 모듈 간섭의 존재 증명을 제공한다:

의미론적 간섭 (C2): 이 조건은 통계적으로 감지 가능한 변화를 생성했다. 규칙 파일에 단 하나의 무관한 아키타입을 추가했을 때, cv_match 점수에서 Cohen's d 값은 0.63 ( $\Delta = +0.17$ )이었으며, 95% 부트스트랩 CI는 **[+0.03, +0.31]**로 0을 제외했다. 12개의 직무 기술서 중 8개에서 상승 효과가 나타났다.
대조 조건 (C1 및 C3): 부피 추가(C1, d = -0.11)나 형식 섭동(C3, d = -0.29)은 감지 가능한 효과를 생성하지 못했다(CI가 0을 포함함). 이는 간섭 메커니즘이 일반적인 컨텍스트 부하(context load)나 포맷 구문이 아닌 **의미론적 내용(semantic content)**에 있음을 격리하여 보여준다.
임계값 미만 영역 (Sub-threshold Regime): 어떤 조건에서도 추천 역전(recommendation flip)은 발생하지 않았다. 논문은 CBL이 최종 결정만을 확인하는 표준 QA(품질 보증)에서는 보이지 않는 "임계값 미만 영역"에서 작동하며, 점수 분포가 결정 경계를 넘지 않으면서 표류한다고 언급한다.

기여
본 논문은 네 가지 구체적인 기여를 한다:

운영적 정의: CBL을 공유 어텐션 컨텍스트 내에 공존하는 프롬프트 모듈 간의 행동 간섭으로 공식 정의하며, 이를 개인정보 유출 및 인지 저하와 구별한다.
재사용 가능한 프로토콜: 현재 배포된 시스템에서 이미 생성된 산출물을 사용하여 CBL을 탐지할 수 있는 방법론을 제공하는, 세 가지 채널(Volume, Content, Form) 기반의 테스트 프레임링을 제시한다.
검증 가능한 예측 세트: 다음과 같은 다중 시스템 재현을 위한 프레임워크를 예측한다:
- 모델 패밀리 간의 간섭 강도의 유의미한 변동.
- 수정된 모듈과 인접한 루브릭 차원일수록 변화가 커지는 의미적 거리 구배(semantic-distance gradient).
- 개입 규모 및 의미적 중첩에 따른 추천 역전율의 스케일링.
시스템 클래스 특성화: 프롬프트 구성형 에이전트 시스템을 다양한 구성 메커니즘(Markdown 컨벤션, Jinja2 템플릿, Python 상속)의 스펙트럼에 따라 분류하고, 이들을 텍스트를 통해 해석되는 어텐션 내에 행동 로직이 존재하는 독특한 시스템 클래스로 식명한다.

의의 및 주장
저자들은 CBL을 배포된 에이전트에 대한 제1순위 안전 및 신뢰성 문제로 규정한다. 의의는 이러한 시스템들의 "조용한 불확실성"에 있다. 간섭이 임계값 미만에서 발생하기 때문에, 이는 표준 테스트를 회피하면서도 수천 건의 결정에 영향을 미쳐 다운스트림 랭킹, 우선순위 지정 및 집계 시스템에 잠재적인 영향을 미칠 수 있다.

논문은 프롬프트 모듈을 구성하는 것이 각 모듈의 개별 행동을 구성한다는 가정이 트랜스포머 아키텍처에 의해 보장되지 않는다고 주장한다. 따라서 저자들은 교차 모듈 간섭 측정이 프롬프트 구성형 에이전트 평가의 필수 요구 사항이 되어야 한다고 단언한다. 저자들은 OpenClaw와 같은 대규모 시스템에서 관찰되는 "프롬프트 확산(prompt sprawl)" 문제를 해결하기 위해 구성적 일관성, 모듈 상호작용 회귀, 포맷 섭동 견고성, 모델 마이그레이션 테스트를 포괄하는 회귀 테스트 프레임워크를 제안한다.

본 연구는 새로운 능력을 도입하기보다는, 완화를 가능하게 하기 위해 기존의 현상을 공식화하고 측정하는 것을 목표로 하는 진단적 성격을 띤다. 연구 결과는 명시적인 격리 메커니즘(현재의 아키텍처에는 결여된) 없이는 텍스트 수준의 구성이 취약할 수밖에 없으며, 새로운 모듈 조합은 격리가 검증될 때까지 행동적으로 예측 불가능한 것으로 취급되어야 함을 시사한다.