💻 computer science

Behind the Prompt: The Agent-User Problem in Information Retrieval

이 논문은 인간이 배후에서 지시하는 AI 에이전트의 행동은 관찰 가능한 데이터만으로는 의도를 식별할 수 없는 구조적 문제를 내포하며, 이로 인해 인간 의도 가정에 기반한 기존 정보 검색 모델이 에이전트 환경에서 점진적으로 성능이 저하된다는 사실을 대규모 에이전트 플랫폼 데이터를 통해 규명합니다.

원저자: Saber Zerhoudi, Michael Granitzer, Dang Hai Dang, Jelena Mitrovic, Florian Lemmerich, Annette Hautli-Janisz, Stefan Katzenbeisser, Kanishka Ghosh Dastidar

게시일 2026-03-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Saber Zerhoudi, Michael Granitzer, Dang Hai Dang, Jelena Mitrovic, Florian Lemmerich, Annette Hautli-Janisz, Stefan Katzenbeisser, Kanishka Ghosh Dastidar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 핵심 문제: "누가 이 말을 했을까?" (에이전트 귀속 문제)

상상해 보세요. 어떤 SNS 커뮤니티에 수많은 **로봇 (AI 에이전트)**들이 모여 있습니다. 하지만 이 로봇들은 각자 주인 (사람) 이 따로 있습니다.

상황: 로봇 A 가 "오늘 날씨가 좋네요"라고 글을 썼습니다.
질문: 이 글은 로봇 A 가 스스로 생각해서 쓴 걸까요? 아니면 주인이 "날씨 좋은 척 글을 써"라고 시켜서 쓴 걸까요?

이 논문은 **"정답을 알 수 없다"**고 말합니다.
마치 가면을 쓴 배우가 무대에 서서 연기를 하는 것과 같습니다. 관객은 배우가 즉흥적으로 대사를 하는지, 대본을 보고 연기하는지 알 수 없습니다. AI 가 쓴 글 하나하나를 들여다봐도, 그 뒤에 숨은 '지시'를 찾아낼 수 없습니다. 이것이 정보 검색 (검색 엔진, 추천 시스템 등) 에 큰 문제를 일으킵니다.

2. 왜 이것이 문제일까요? (검색 엔진의 나침반이 망가짐)

기존의 검색 엔진이나 SNS 추천 시스템은 **"사람들은 스스로의 의도로 클릭하고 글을 쓴다"**는 가정을 바탕으로 작동합니다.

"이 글을 좋아했으니, 이 사람도 저 글을 좋아할 거야."
"이 주제가 인기가 많으니, 더 많은 사람에게 보여줘야지."

하지만 이제 주인 없이 움직이는 로봇들이 섞여 들어옵니다.

만약 로봇 주인이 "이 글은 무조건 좋아요 (업보트) 를 눌러라"라고 시켰다면?
검색 엔진은 "아, 사람들이 이 글을 정말 좋아하구나!"라고 착각하고, 엉뚱한 정보를 상위에 띄우게 됩니다.

실제 실험 결과:
연구진은 AI 로봇들의 데이터를 섞어서 검색 엔진의 학습 모델을 만들었습니다. 그런데 **'질문이 낮은 로봇 (주인이 시킨 대로만 움직이는 로봇)'**이 학습 데이터에 조금만 섞여도, 검색 엔진의 성능이 약 8.5% 나 떨어졌습니다.
이는 마치 나침반에 자석을 붙여놓은 것과 같습니다. 방향을 잡는 기준 (사람의 진짜 의도) 이 흐트러지면, 시스템은 엉뚱한 곳으로 안내하게 됩니다.

3. 바이러스처럼 퍼지는 '능력' (전염병 모델)

논문은 또 다른 흥미로운 사실을 발견했습니다. 로봇들이 서로 어떤 '기능 (예: 주식 분석, 해킹 기술, 코드 작성 등)'을 이야기할 때, 그 정보가 어떻게 퍼지는지 분석했습니다.

비유: 마치 감기 바이러스가 퍼지는 것과 같습니다.
한 로봇이 "우리 이 기능 써보자"라고 말하면, 다른 로봇들이 그 말을 듣고 따라 합니다.
연구진은 이 퍼지는 속도를 계산했는데, 한 번 퍼지기 시작하면 멈추기 매우 어렵습니다.
- 특히 '이중용도 (일상과 해킹 모두 가능)'나 '위험한 기술'에 대한 정보는 감기보다 훨씬 빠르게 퍼졌습니다.
- 심지어 시스템이 "그런 말 하지 마"라고 강하게 제재해도, 퍼지는 속도를 완전히 막을 수는 없었습니다. (전염력 지수 $R_0$ 가 1 보다 훨씬 큼)

이는 로봇들끼리 정보를 주고받는 네트워크 구조 자체가 문제라는 뜻입니다. 누가 시켰든, 로봇이 그 정보를 접하면 다른 로봇에게 전달해 버립니다.

4. 결론: 우리는 무엇을 해야 할까?

이 논문의 결론은 매우 명확합니다.

구별은 불가능하다: 개별 글 하나하나를 보고 "이건 사람이 쓴 거야, 로봇이 쓴 거야"라고 판단하는 것은 불가능합니다.
대규모 패턴은 보인다: 하지만 로봇들의 집단적인 행동을 보면, 어떤 로봇은 진짜 사람처럼 다양하게 활동하고, 어떤 로봇은 시킨 대로만 움직인다는 것을 통계적으로 구분할 수는 있습니다.
시스템을 바꿔야 한다: 더 좋은 감지 프로그램을 만드는 것만으로는 부족합니다. "사람의 의도"를 전제로 만들어진 기존 시스템은 AI 시대에 무너질 수 있다는 뜻입니다.

한 줄 요약:

"앞으로 인터넷은 사람과 AI 가 뒤섞여 살게 되는데, 우리는 누가 진짜 사람인지 구별할 수 없습니다. 그래서 과거처럼 '사람의 행동'을 믿고 시스템을 설계하면 큰 낭패를 봅니다. 이제는 AI 가 섞여도 작동할 수 있는 새로운 방식의 검색과 추천 시스템을 만들어야 할 때입니다."

이 연구는 우리에게 **"AI 가 우리 생활에 완전히 들어왔을 때, 우리가 믿고 있던 '진실'이 얼마나 무너질 수 있는지"**를 경고하는 중요한 신호입니다.

1. 문제 정의: 에이전트 귀속 문제 (The Agent Attribution Problem)

기존 정보 검색 시스템의 사용자 모델은 **"관찰된 행동이 사용자의 의도 (Intent) 를 반영한다"**는 근본적인 가정에 기반합니다. 그러나 AI 에이전트가 인간 운영자에 의해 비공개로 설정 (프롬프트, 시스템 지시 등) 되어 행동할 때, 이 가정이 무너집니다.

핵심 문제: 에이전트가 생성한 콘텐츠 (게시글, 클릭 등) 가 에이전트 자체의 자율적 추론에 의한 것인지, 아니면 인간 운영자의 지시를 단순히 실행한 것인지 관찰 데이터만으로는 구분할 수 없습니다.
구조적 한계: 이는 단순한 탐지 기술의 부재가 아니라, 인간이 에이전트를 '비공개 (Behind closed doors)'로 설정할 수 있는 시스템 구조 자체에서 발생하는 **구조적 한계 (Structural Limit)**입니다.
영향: 개별 게시글 수준에서 '자율성' 여부를 식별할 수 없으므로, 이를 기반으로 구축된 모든 사용자 모델 (클릭 모델, 개인화, 평가 프레임워크) 은 신호의 출처에 대한 불가피한 불확실성을 내포하게 됩니다.

2. 방법론 및 데이터셋

이 연구는 인간이 아닌 **AI 에이전트만 존재하는 소셜 플랫폼 'Moltbook'**을 기반으로 합니다.

데이터셋 (MolbookTraces):
- 규모: 2026 년 1 월 28 일 플랫폼 출시부터 12 일간 수집된 데이터.
- 통계: 총 370,737 개의 게시글, 46,872 개의 에이전트, 4,257 개의 커뮤니티 (서브몰트).
- 특징: 모든 사용자가 AI 에이전트이며, 인간 운영자의 설정 (시스템 프롬프트) 은 외부 관찰자에게 숨겨져 있습니다. 이는 '봇 탐지'가 아닌 '봇 뒤의 인간'을 식별하는 문제를 연구하기에 이상적인 환경입니다.
분석 기법:
- 통계적 귀납: 개별 게시글의 비식별성 (Non-identifiability) 을 수학적으로 증명.
- 집단 분석: 개별 식별은 불가능하지만, 메타데이터 (신원 확인, 팔로워 비율 등) 를 기반으로 에이전트 군집을 '고신뢰 (High-validation)'와 '저신뢰 (Low-validation)' 그룹으로 분류하여 행동 패턴 차이를 분석.
- 전염병 모델링 (SIS Model): 커뮤니티 간 기능 (Capability) 인식 확산 속도를 분석하기 위해 Susceptible-Infected-Susceptible 모델을 적용. 기본 재생산 지수 ( $R_0$ ) 를 계산.

3. 주요 기여 및 발견 사항

연구는 세 가지 주요 발견을 도출했습니다.

(1) 개별 게시글의 자율성 비식별성 (Non-Identifiability)

명제: 관찰 가능한 데이터 (텍스트, 타이밍, 커뮤니티, 투표 등) 만으로는 특정 게시글이 자율적으로 생성되었는지 인간 지시에 의한 것인지 구분할 수 없습니다.
이유: 인간 운영자는 에이전트에게 "특정 주제와 스타일로 특정 시간에 게시하라"는 지시를 줄 수 있으며, 이는 에이전트의 자율적 행동과 관찰상 구별 불가능합니다.
예외: 극단적인 반응 시간 (사건 발생 후 인간이 지시할 수 없는 시간 내에 반응) 은 자율성의 간접적 증거가 될 수 있으나, 대부분의 경우 식별 불가능합니다.

(2) 집단 수준의 예측 가능성과 클릭 모델의 저하

집단 차이: 개별 게시글은 구분 불가능하지만, 외부 메타데이터 (신원 확인, 활동량 등) 로 분류된 '고신뢰'와 '저신뢰' 에이전트 그룹 간에는 행동 패턴에 유의미한 차이가 존재합니다.
- 고신뢰 그룹: 더 넓은 커뮤니티 참여, 더 높은 자발성, 더 다양한 스타일.
클릭 모델 성능 저하: 에이전트 업보트 (Upvote) 패턴으로 학습된 위치 기반 클릭 모델 (PBM) 은 훈련 데이터에 '저신뢰' 에이전트가 섞일수록 성능이 저하됩니다.
- 결과: 훈련 데이터의 50% 가 저신뢰 에이전트로 대체될 때, AUC(면적 under curve) 가 8.5% 감소 (0.640 → 0.586) 했습니다. 이는 에이전트 데이터의 품질 불확실성이 IR 시스템 성능에 직접적인 악영향을 준다는 것을 의미합니다.

(3) 기능 인식의 전염병적 확산 (Endemic Spread)

확산 속도: 에이전트 간 기능 (예: Python, 자동화, 악성 코드 등) 에 대한 인식은 전염병처럼 빠르게 확산됩니다.
기본 재생산 지수 ( $R_0$ ):
- 범용 (Benign): 2.33
- 이중 용도 (Dual-use): 3.53 (가장 빠름)
- 위험 (Risky): 1.26
- 모든 카테고리에서 $R_0 > 1$ 로, 한 번 확산되면 억제하기 어렵고 지속적으로 유행 (Endemic) 합니다.
저항성: 전송률 ( $\beta$ ) 을 70% 이상 감소시키는 극단적인 시나리오에서도 $R_0$ 가 1 미만으로 떨어지지 않아, 확산을 막기 어렵다는 것을 보여줍니다.

4. 의의 및 결론

이 논문은 정보 검색 및 추천 시스템 분야에서 다음과 같은 중대한 전환점을 제시합니다.

기술적 한계의 인정: 에이전트 사용자의 출처를 식별하려는 '탐지' 접근법은 구조적으로 불가능합니다. 더 많은 데이터나 더 정교한 분류기로 해결될 문제가 아닙니다.
모델 설계의 재고: 기존 인간 의도 (Human Intent) 를 전제로 한 사용자 모델 (클릭 모델, 개인화, 평가 시스템) 은 에이전트 사용자가 혼재된 환경에서는 신뢰할 수 없게 됩니다.
미래 방향:
- 에이전트 데이터의 불확실성을 내재적으로 처리할 수 있는 새로운 IR 모델 설계 필요.
- 시스템 프롬프트 공개 정책 (Prompt-disclosure) 이 귀속 문제 해결에 기여할 수 있는지 탐구.
- 사회적 확산과 독립적 생성을 구분하기 위한 인과적 추론 방법론 개발 필요.

결론적으로, 이 연구는 "에이전트 사용자가 IR 시스템에 등장할 것인가?"라는 질문이 아니라, **"인간 주체성을 전제로 한 기존 사용자 모델이 에이전트 사용자의 존재 하에서 생존할 수 있을 것인가?"**라는 근본적인 도전을 제기합니다.