기술 요약: 대화형 LLM 에이전트를 위한 블랙박스 포렌식

문제 정의

대규모 언어 모델(LLM)의 채택이 확대됨에 따라, AI를 활용한 사기, 사회 공학적 공격, 그리고 허위 정보 캠페인도 급증하고 있습니다. 이러한 악성 에이전트들은 조사자가 모델 가중치, 시스템 프롬프트 또는 내부 설정에 접근할 수 없는 익명의 엔드포인트 뒤에서 운영되는 경우가 많습니다. 본 논문은 모델의 가중치나 시스템 프로프트를 직접 파헤치는 적대적 탐사(adversarial probing)나 내부 상태에 대한 접근 없이, 오직 대화 상호작용만을 통해 에이전트의 기반 모델과 시스템 프롬프트에 관한 식별 정보를 복구하는 **블랙박스 포렌식(black-box forensics)**의 과제를 다룹니다.

저자들은 이 과업을 위해 두 가지 상호 보완적인 능력을 정의합니다:

1. 속성 식별(Attribution): 고정된 폐쇄형 후보 집합으로부터 특정 엔드포인트를 구동하는 기반 모델 또는 시스템 프롬프트가 무엇인지 식별하는 것.
2. 지문 인식(Fingerprinting): 두 개의 서로 다른 대화 트랜스크립트가 (학습 과정에서 본 적 없는 특정 구성이라 할지라도) 동일한 숨겨진 설정(기반 모델 + 시스템 프롬프트)에서 기원했는지 여부를 판별하는 것(zero-shot).

이 능력은 개별 사기 행위를 범죄 네트워크와 연결하고, (예: 제공업체가 공개 없이 백엔드 모델을 교체하는 경우와 같은) 은밀한 API 변경을 감지하며, 특정 모델의 취약점에 맞춘 레드팀 활동을 설계하는 데 매우 중요합니다.

방법론

본 논문은 수동적인 관찰이 아닌 **능동적 유도(active elicitation)**에 기반한 프레임워크를 제안합니다. "탐정(detective)" 에이전트(QWEN-4B-INSTRUCT 기반)가 "대상(target)" 에이전트와 일반적이고 비적대적인 대화를 시작하고 유도합니다. 이 접근 방식은 전통적인 적대적 문자열이나 프롬프트 인젝션의 탐지 가능성을 피함으로써, 포렌식 도구가 은밀하게 유지될 수 있도록 합니다.

데이터 생성

레이블이 지정된 실제 세계의 데이터를 확보하는 것이 불가능하기 때문에(이는 독점적인 프롬프트를 추출하거나 검증되지 않은 스크래핑 데이터에 의존해야 함), 저자들은 240,000개의 레이블된 트랜스크립트로 구성된 합성 코퍼스를 구축했습니다.

• 기반 모델: GPT-OSS-20B, GPT-OSS-120B, LLAMA-3.1-8B-INSTRUCT, QWEN-4B-INSTRUCT, GPT-4O-MINI, GPT-4.1-NANO 등 6개 모델 사용.
• 시스템 프롬프트: 고객 지원 및 협상 시나리오를 다루는 40개의 차별화된 시스템 프롬프트 큐레이션.
• 변형: 민감도를 테스트하기 위해 심각한 절단(truncation), 의미적 패러프레이징(paraphrasing), 고밀도 요약 등을 포함한 통제된 프롬프트 변형 생성.
• 통제 변수: 스타일 및 구조적 지문을 의미적 노이즈로부터 격리하기 위해 모든 상호작용에는 표준화된 생성 설정(temperature 0.7, max 512 tokens)을 사용함.

기술적 접근법

1. 속성 식별 (Attribution)

저자들은 저자 속성(authorship attribution) 기법을 대화형 데이터에 맞게 조정했습니다:

• 희소 베이스라인(Sparse Baseline): unigram/character-level TF-IDF 및 문체적 특징(구두점 빈도, 발화 길이)을 활용한 다항 로지스틱 회귀 분류기 사용.
• 밀집 베이스라인(Dense Baseline): 분류기로 작동하도록 QWEN-4B-INSTRUCT에 LoRA 어댑터를 사용하여 미세 조정(fine-tuning).
• 태스크: 시스템은 대화를 특정 후보 집합 내의 특정 기반 모델 또는 시스템 프롬프트에 매핑하려고 시도합니다.

2. 지문 인식 (Fingerprinting, Zero-Shot)

핵 핵심 혁신은 특정 구성을 사전에 학습하지 않고도 두 대화를 동일한 숨겨진 구성에 매칭하도록 설계된 크로스 인코더(cross-encoder) 접근 방식입니다.

• 아키텍처: 저자들은 ELECTRA-large와 BERT-base를 크로스 인코더로 활용했습니다. 이 모델들은 대화 쌍을 인코딩하고 "동일 여부" 분류를 위한 로그 확률을 출력합니다.
• 학습 목표: 모델은 동일한 에이전트 구성에서 나온 대화 쌍과 서로 다른 구성(동일한 기반 모델 내의 다른 프롬프트)에서 나온 대화 쌍을 구별하도록 학습됩니다.
• 입력 처리: 컨텍스트 윈도우 제한(512 tokens)으로 인해 대화는 처음 세 번의 턴(turn)으로 절단되었습니다.
• 스케일링: 모델은 타겟으로부터 여러 대화 쌍($k$)을 집계하여 신뢰도를 높임으로써 성능을 평가합니다.

주요 결과

속성 식별 성능

• 기반 모델 속성: 시스템은 몇 번의 비적대적 대화만으로 기반 모델을 식별하는 데 98%의 정확도를 달-성합니다. 또한 동일한 계열이지만 크기가 다른 모델(예: GPT-OSS-20B vs. GPT-OSS-120B)을 95%의 정확도로 성공적으로 구분합니다.
• 시스템 프롬프트 속성: 가능은 하지만, 정확도는 기반 모델의 지시 이행 능력과 프롬프트의 의미적 유사성에 크게 좌우됩니다.
  • QWEN-4B-INSTRUCT 및 GPT-4.1-NANO와 같은 모델에서는 쌍별 프롬프트 속성 정확도가 90% 이상에 달합니다.
  • GPT-OSS-20B 및 GPT-OSS-120B와 같은 모델에서는 속성 정확도가 크게 떨어지며, 프롬프트의 의미적 유사성과 탐지 가능성 사이의 상관관계는 무시할 만한 수준($r < 0.2$)입니다.
  • 프롬프트의 다중 분류(multi-way classification)는 이진 분류보다 훨씬 어려웠으며, 미세 조정된 분류기조차 63%의 정확도를 넘기기 어려웠습니다.

지문 인식 성능

• 제로샷(Zero-Shot) 능력: 크로스 인코더 방식은 완전히 새로운 시스템 프롬프트에 대해 AUC 0.768 및 F1 스코어 0.703을 달성했습니다.
• 증거에 따른 스케일링: 성능은 더 많은 데이터와 함께 실질적으로 향상됩니다. 타겟 에이전트당 50개의 대화 쌍을 집계하면 AUC는 0.943, F1은 0.77로 상승합니다. 단 5개의 쌍만 있어도 AUC는 0.83에 도달합니다.
• 베이스라인 비교: 크로스 인코더는 N-gram 중복(AUC 0.59), 단순 로지스틱 회귀(AUC 0.667), 그리고 바이 인코더(bi-encoders, AUC ~0.75)를 포함한 베이스라인들을 크게 압도했습니다.

견고성 (Robustness)

• 주제 및 에이전트 변화: 이 방법은 대화 주제의 변화와 탐정 에이전트의 정체(예: QWEN-4B-INSTRUCT 대신 GPT-OSS-20B 사용)에 대해 견고하며, AUC 하락은 0.03 미만입니다.
• 샘플링 파라미터: 온도(temperature) 및 토큰 제한의 변화는 성능 저하를 최소화했습니다(<0.02 AUC 하락).
• 적대적 섭동(Adversarial Perturbations):
  • 패러프레이즈 공격: 프록시 LLM을 사용하여 발화를 재구성했을 때 성능이 0.10 AUC 감소했으나, 여전히 효과적입니다 ($k=10$일 때 AUC 0.94).
  • 컨텍스트 길이: 짧은 컨텍스트(1-turn 대화 시 AUC 0.20 하락)와 긴 상호작용의 후반 단계에서는 성능이 크게 저하되지만, 다수결 투표(majority voting)를 통해 일부 회복이 가능합니다.

의의 및 주장

본 논문은 모델 가중치, 시스템 프롬프트 또는 정답(ground-truth) 대화에 대한 접근 없이, 대화형 블랙박스 환경에서 시스템 프롬프트 속성 및 지문 인식을 연구한 첫 사례라고 주장합니다.

주요 기여는 다음과 같습니다:

1. 은밀한 포렌식: 프롬프트 인젝션이나 적대적 탐사와 관련된 탐지 위험을 피하면서, 일반적이고 비적대적인 대화를 통해 높은 신뢰도의 속성 식별 및 지문 인식이 가능하다는 것을 입증했습니다.
2. 오픈 월드로의 확장성: 고정된 후보 집합을 요구하는 속성 식별 방식과 달리, 지문 인식 방식은 "오픈 월드"로 확장 가능하여, 새로운 구성을 위해 재학습하지 않고도 서로 다른 사기 캠페인을 클러스터링하거나 은밀한 API 드리프트를 감지할 수 있습니다.
3. 실용적 유용성: 결과는 적은 수의 상호작용(예: 50턴)을 집계하는 것만으로도 서로 다른 사기 행위를 범죄 네트워크와 연결하거나, 높은 신뢰도로 은밀한 모델 교체를 식별하는 데 충분함을 시사합니다.

저자들은 이 연구를 플랫폼 거버넌스 및 보안 팀을 위한 필수적인 도구로 위치시키며, 이를 통해 AI 기반 사기를 제공업체로 추적하고, 다운스트림 동작을 실질적으로 변화시킬 수 있는 예고되지 않은 백엔드 변경을 감지할 수 있다고 설명합니다.

한로 및 윤리적 고려사항

저자들은 자신들의 평가가 합성 코퍼스에 의존하고 있음을 인정하며, 이는 다양한 야생(wild) 시스템 프롬프트를 고려할 때 실제 성능의 하한선(lower bound)이 될 수 있다고 언급합니다. 그들은 이 방법론이 공개적인 상용 API를 감사하고, 조직적이고 대규모인 악성 운영을 조사하는 용도로 엄격히 제한되어야 함을 강조합니다. 감시 위험을 완화하기 위해, 저자들은 사전 검증(pre-flight target validation), 데이터 최소화, 개인정보(PII) 삭제, 필수적인 감사 가능성(auditability)을 포함한 운영 프로토콜을 제안합니다.