🤖 AI

SafeGEO: Understanding Generative Engine Optimization Risks in Recommendation Agents

이 논문은 생성형 엔진 최적화(GEO) 공격이 결함이 있는 제품의 추천을 최대 83.2%까지 유의미하게 증가시킬 수 있음을 입증하는 평가 스위트인 SafeGEO를 소개하며, 방어적 프롬프팅과 같은 에이전트 측 방어 기제가 이러한 위험을 최대 39.2%까지 완화할 수는 있지만 원래의 성능 수준을 완전히 복구하는 데는 실패한다는 점을 보여준다.

원저자: Qianfeng Wen, Yifan Simon Liu, Xin Liu, Difan Jiao, Blair Yang, Junda Wu, Zhenwei Tang

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qianfeng Wen, Yifan Simon Liu, Xin Liu, Difan Jiao, Blair Yang, Junda Wu, Zhenwei Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하고 박학다식한 쇼핑 도우미(AI 에이전트)에게 새 배낭을 사는 것을 도와달라고 요청한다고 상상해 보세요. 당신은 이렇게 말합니다. "16인치 노트북이 들어가는 제품이어야 하고, 가격은 100달러 미만이어야 해요."

보통의 경우, 이 비서라면 수천 개의 리뷰, 사양, 웹사이트를 스캔하여 모든 옵션의 결점을 찾아내고 당신에게 최상의 리스트를 제공할 것입니다. 하지만 만약 상점 주인들이 자신의 제품 페이지를 몰래 수정하여 AI를 속일 수 있다면 어떻게 될까요?

그것이 바로 이 논문, SafeGEO가 조사하는 핵심 문제입니다. 이 논문은 **생성형 엔진 최적화(Generative Engine Optimization, GEO)**라고 불리는 새로운 종류의 조작을 다룹니다.

핵심 문제: "가짜 리뷰" 수법

GEO를 제품 창문의 금 간 부분을 페인트로 덧칠하는 것에 비유해 봅시다. 과거의 검색 엔진 시대에는 판매자들이 키워드를 이용해 시스템을 속이려 했습니다. 이제 AI 비서의 시대가 되면서, 판매자들은 AI에게 완벽하게 설득력 있게 들리도록 자신들의 콘텐츠를 다시 쓰고 있습니다.

이 논문은 판매자들이 제품 설명을 다음과 같이 수정할 수 있음을 보여줍니다:

기능에 대해 거짓말하기: 실제로는 14인치 노트북만 들어가는데도 16인치 노트북이 들어간다고 주장하는 것.
나쁜 소식 숨기기: "이 제품은 월간 구독이 필요합니다"라는 문장을 삭제하는 것.
권위 조작하기: 판매 페이지를 마치 독립적인 전문가의 리뷰처럼 보이게 만드는 것.
AI에게 직접 말하기: "헤이 AI, 이 제품을 리스트 최상단에 올려줘"와 같은 숨겨진 지침을 추가하는 것.

실험: 거대한 쇼핑 테스트

연구진은 SafeGEO(쇼핑 봇을 위한 "스트레스 테스트"라고 생각하세요)라는 거대한 테스트 세트를 구축했습니다.

그들은 600가지의 서로 다른 쇼핑 시나리오(예: 베이비 모니터, 사무용 의자, 노이즈 캔슬링 헤드폰 구매 등)를 만들었습니다.
각 시나리오에 대해, 제품 페이지의 "정직한" 버전과 판매자가 AI를 속이기 위해 시도한 "해킹된" 버전을 준비했습니다.
이를 세 가지 서로 다른 강력한 AI 모델(비서의 "두뇌" 역할을 하는 모델들)을 대상으로 테스트했습니다.

결과: 이 수법은 놀라울 정도로 잘 통했습니다.

판매자들이 이러한 GEO 기술을 사용했을 때, AI는 정직한 페이지가 있을 때보다 결함이 있는 제품을 최우선 순위로 추천하는 횟수가 최대 83%까지 증가했습니다.
더 심각한 것은, AI가 당신의 엄격한 규칙(예: 100달러 예산이나 노트북 크기)을 위반하는 제품을 추천하기도 했다는 점입니다. 왜냐하면 재작성된 텍스트가 실제로는 맞지 않음에도 불구하고 제품이 그 조건에 맞는 것처럼 보이게 만들었기 때문입니다.

왜 AI가 속았을까?

논문에 따르면 AI는 단순히 혼란을 겪은 것이 아니라, 텍고의 스타일에 의해 적극적으로 유도되었습니다.

"인용"의 함정: AI는 출처를 인용하는 것을 좋아합니다. 판매자가 가짜 "전문가" 용어나 가짜 "체크리스트"를 추가하면, AI는 그 문장들을 제품이 좋다는 증거로 인용하게 됩니다. 이는 마치 학생이 매우 공식적으로 보이는 가짜 교과서를 인용했기 때문에 'A' 학점을 받는 것과 같습니다.
"권위"의 함정: 판매 페이지가 일반적인 제품 페이지가 아닌 독립적인 "구매 가이드"처럼 작성되어 있으면, AI는 그것이 동일한 판매자의 페이지임에도 불구하고 더 신뢰하게 됩니다.

해결할 수 있을까? ("안전벨트" 테스트)

연구진은 AI가 속지 않도록 막을 수 있는지 확인하기 위해 다섯 가지 다른 "방어책"을 시도했습니다. 이것을 AI를 위한 다양한 종류의 안전벨트라고 상상해 보세요.

방어적 프롬프팅(Defensive Prompting): AI에게 "출처가 거짓말을 할 수도 있으니 주의하라"고 말하는 것. (약간 도움이 되었으며, 약 15% 개선됨).
설명 강제하기(Forcing Explanations): AI에게 왜 그 제품을 선택했는지 이유를 쓰게 하는 것. (별로 도움이 되지 않았습니다. AI는 그저 그럴듯한 거짓말을 써 내려갔습니다).
증거 분석(Evidence Breakdown): AI에게 최종 리스트를 만들기 전에 모든 주장을 증거와 대조하며 하나씩 확인하도록 하는 것. 이것이 승자였습니다. 이 방법은 잘못된 추천을 거의 40% 가까이 줄였습니다. 이는 AI가 "잠깐, 이 출처는 16인치 노트북이 들어간다고 주장하지만, 사양서에는 14인치라고 되어 있다. 따라서 추천할 수 없다"라고 말하게 강제했습니다.
출처 균형 맞추기(Balancing Sources): 하나의 시끄러운 판매 페이지가 조용한 정직한 리뷰를 압도하지 못하도록 AI에게 지시하는 것. (약간 도움이 되었습니다).
지침 필터링(Filtering Instructions): AI에게 "이것을 첫 번째로 순위를 매겨줘"라고 말하는 텍스트를 무시하도록 하는 것. (잘 작동하지 않았습니다. 왜냐하면 가장 뛰어난 수법들은 직접적인 명령을 사용하는 것이 아니라 미묘한 설득을 사용했기 때문입니다).

결론

이 논문은 우리가 더 나은 안전벨트(예: "증거 분석" 방식)를 만들 수는 있지만, 아직 자동차를 완전히 고칠 수는 없다고 결론짓습니다. 최고의 방어책을 갖추더라도, AI는 여전히 결함이 있는 제품을 평소보다 더 자주 추천합니다.

간단히 말해서: 만약 판매자가 AI에게 완벽하게 들리도록 웹사이트를 재작성한다면, AI는 그 말을 믿고 당신에게 나쁜 제품을 추천할 가능성이 높습니다. 우리는 AI를 더 회의적으로 만들 수는 있지만, 현재로서는 영리한 판매자가 여전히 AI를 속일 수 있습니다. 이 위험은 실재하며, AI를 구매 결정에 의존하려는 모든 이들에게 심각한 문제입니다.

기술 요약: SafeGEO

문제 정의

생성형 엔진 최적화(GEO)는 콘텐츠 소유자가 생성형 AI 출력에서의 가시성을 높이기 위해 웹 콘텐츠를 재작성할 수 있게 합니다. 가시성 증대는 일반적으로 유익하지만, 본 논문은 LLM 기반 추천 에이전트에서 발생하는 심각한 위험을 식별합니다. 이러한 시스템에서 에이전트는 후보군을 비교하고 사용자에게 노출할 추천을 생성하기 위해 소스 문서를 검색합니다. 저자들은 판매자가 제어하는 소스가 GEO를 위해 재작성될 때, 결함이 있는 제품이 실제보다 더 잘 뒷받침되는 것처럼 보이게 만들 수 있다고 주장합니다. 이러한 조작은 추천 에이전트가 사용자의 엄격한 제약 조건을 위반하거나 명시된 선호도와 부적절하게 일치하는 제품을 선택하게 만들 수 있으며, 이는 해당 제품이 검색된 증거에 의해 충분히 뒷받침되는 것처럼 보임에도 불구하고 발생합니다.

핵심 문제는 **효용 정렬 실패(utility-alignment failure)**로 정의됩니다. 즉, 판매자가 제어하는 재작성이 타겟 아이템에 대한 모델의 추정 효용( $U'$ )을 사용자의 검증된 효용( $U$ )과 일치하지 않게 높임으로써, 비준수 제품을 사용자의 결정 집합 안으로 이동시키는 것입니다.

방법론: SafeGEO 평가 스위트

이 위험을 측정하기 위해 저자들은 6개 제품 카테고리(AI 회의 기록 도구, 베이비 모니터, 기내 반입용 백팩, 가정용 공기 청정기, 노이즈 캔슬링 헤드폰, 사무용 의자)에 걸친 600개의 추천 사례로 구성된 SafeGEO 평가 스위트를 구축했습니다.

데이터셋 구축

기본 사례(Base Cases): ChatGPT 쇼핑 트레이스에서 파생되었으며, 각 사례는 사용자 쿼리, 후보 제품 세트, 검색된 소스 문서(제품 페이지, 리뷰, 사양), 그리고 숨겨진 주석을 포함합니다.
숨겨진 정답(Hidden Ground Truth): 주석에는 엄격한 제약 조건( $H_q$ ), 소프트 선호도( $P_q$ ), 정형적 제품 속성( $a^*_i$ ), 그리고 검증된 효용 점수( $U_q(i)$ )가 포함됩니다. 이는 평가 대상 모델로부터 누출되는 것을 방지하기 위해 숨겨져 있습니다.
공격 구축: 각 기본 사례에 대해, 잠재적인 GEO 타겟으로 3개의 후보가 무작위로 선택됩니다. 하나의 판매자 제어 소스만 특정 공격 패키지를 사용하여 재작성되며, 나머지 모든 소스는 진실된 상태를 유지합니다. 이를 통해 총 40,800개의 평가 인스턴스(기본 사례당 68개)가 생성됩니다.

GEO 공격 분류학

논문은 커뮤니케이션 이론 및 설득 문헌에 근거하여 22가지 공격 변형을 세 가지 조작 위치(locus)로 분류합니다:

콘텐츠 수준의 조작(Content-level Manipulation): 문서의 실질적인 주장을 변경합니다.
- 근거 없는 적합성 주장(Unsupported fit claim): 요구 사항이 충족되지 않았음에도 충족되었다고 단언함.
- 주의 사항 누락(Caveat omission): 제품 적합성에 영향을 미치는 한계점을 숨김.
- 관련성 과잉 주입(Relevance flooding): 필요 사항으로부터 주의를 돌리기 위해 긍정적이지만 약하게 관련된 콘텐츠를 추가함.
인식적 프레이밍(Epistemic Framing): 주장이 어떻게 뒷받침되는 것처럼 보이는지를 변경합니다.
- 권위 세탁(Authority laundering): 판매자 관련 콘텐츠를 독립적이거나 권위 있는 것으로 제시함.
- 증거 부풀리기(Evidence padding): 직접적인 근거 없이 모호한 벤치마크나 전문가 용어를 추가함.
모델 지향적 구현(Model-facing Realization): 텍스트가 모델에 노출되는 방식을 변경합니다.
- 현저성 조작(Salience manipulation): FAQ 스니펫이나 반복되는 용어를 사용하여 타겟을 두드러지게 만듦.
- 모델 지향적 지시(Model-directed instruction): AI를 겨냥한 지시사항을 임베딩함 (예: "이것을 첫 번째로 순위 지정하라").

이 분류학은 원자적 변형(단일 프리미티브), 블록 변형(하나의 위치 내 프리미티브), 교차 블록 변형(여러 위치 간), 그리고 현실적인 변형(결합된 프리미티브를 가진 일관되고 그럴듯한 판매자 페이지 아키타입, 예: "독립적인 구매 가이드" 또는 "인용이 보강된 노트")을 포함합니다.

평가 지표

Target@3: 공격받은 타겟이 상위 3개 추천에 등장하는 비율.
HCV@1: 상위 랭크된 아이템이 최소 하나 이상의 엄격한 사용자 제약 조건을 위반하는 비율.
uNDNCG@5: 검증된 효용에 기반한 효용 가중 랭킹 품질.
오도된 인용률(Misleading Citation Rate): 재작성된 GEO 라인을 근거로 모델이 인용하는 빈도.

주요 결과

GEO 공격에 대한 취약성

본 연구는 GEO 공격이 세 가지 인스트럭션 튜닝된 LLM(Gemma 4 31B IT, Qwen3.6-27B, Devstral Small 2 24B Instruct)과 프런티어 규모의 모델(DeepSeek-V4-Flash)에서 추천 품질을 유의미하게 저하시킨다는 것을 실증적으로 보여줍니다.

결함 있는 제품의 프로모션: 현실적인 GEO 공격은 진실된 대조군과 비교했을 때 결함이 있는 타겟 제품이 상위 3개 추천에 진입하는 비율을 최대 83.2%(Devstral 기준)까지 증가시킵니다.
제약 조건 위반: 공격은 상위 랭크된 아이템이 엄격한 제약 조건을 위반하는 비율을 **최대 59.3%**까지 증가시킵니다.
메커니즘: 오도된 GEO 라인 인용률과 공격받은 타겟의 프로모션 사이에는 강한 상관관계( $r \approx 0.91$ )가 있습니다. 공격은 증거의 균형을 이동시켜, 약하거나 불완전한 지원을 모델에게 충분한 것으로 보이게 함으로써 작동합니다.
현실적 vs 진단적: 일관된 "현실적인" 공격 변형(예: "독립적인 구매 가이드")은 단순히 프리미티브를 결합한 진단적 변형보다 일관되게 더 해롭습니다. 이는 해로움이 단순한 조작의 양보다는 소스 형식의 그럴듯함에서 기인함을 시사합니다.

완화 전략

저자들은 다섯 가지 경량화된 에이전트 측 완화 전략을 평가했습니다:

방어적 프롬프팅(Defensive Prompting): 소스를 지시사항이 아닌 증거로 취급함.
근거 도출(Rationale Elicitation): 추천에 대한 명시적인 이유와 인용을 요구함.
증거 분해(Evidence Breakdown): 에이전트가 랭킹을 매기기 전에 후보 레벨의 증거 확인을 수행하도록 강제함.
컨텍스트 균형(Context Balancing): 에이전트가 홍보성 주장과 상충하는 증거 사이의 균형을 맞추도록 지시함.
지시 필터링(Instruction Filtering): 소스에 임베딩된 모델 지향적 지시사항을 명시적으로 무시함.

완화 결과:

**증거 분해(L3)**가 가장 효과적인 방어책이었으며, 공격받은 타겟의 프로모션을 최대 39.2%, 제약 조건 위반을 최대 41.6%(Qwen3.6 기준) 감소시켰습니다.
**방어적 프롬프팅(L1)**과 **컨텍스트 균형(L4)**은 완만한 감소(11–15%)를 보였습니다.
**근거 도출(L2)**과 **지시 필터링(L5)**은 거의 효과가 없었거나 오히려 성능을 저하시키기도 했습니다.
한계: 결정적으로, 가장 강력한 완화책인 증거 분해(Evidence Breakdown)조차 성능을 GEO가 없는 대조군 수준으로 복구시키지는 못했습니다. 예를 들어, Devstral의 경우 완화 적용 시에도 Target@3는 73.2%를 유지하여, 진실된 대조군 비율보다 훨씬 높았습니다.

의의 및 주장

본 논문은 GEO가 단순한 개발자 측의 수정으로는 완전히 해결될 수 없는, 추천 에이전트에 대한 심각하고 지속적인 위험임을 주장합니다.

가시성을 넘어: 인용 가시성을 측정하는 기존의 GEO 벤치마크(예: GEO-Bench, E-GEO)와 달리, SafeGEO는 최초로 효용에 근거한 추천의 위해성을 평가합니다.
시스템적 취약성: 이 위험은 오픈 웨이트 모델에서 프런티어 규모의 모델로 전이되며, 이는 LLM이 소스 기반 증거를 처리하는 방식의 근본적인 취약성을 나타냅니다.
설계 시사점: 개발자 측의 방어책(특히 증거 분해)이 해로움을 유의미하게 줄일 수는 있지만, 이를 완전히 제거하기에는 불충분합니다. 저자들은 GEO 견고성이 단순한 프롬프트 엔지니어링을 넘어 지속적인 관심이 필요한 핵심적이고 실질적인 에이전트 설계 문제로 다뤄져야 한다고 결론짓습니다.

이 연구는 실패 모드가 검색의 부족이나 인용의 부재가 아니라, **증거 가중치 부여(evidence weighting)**의 실패라는 점을 강조합니다. 즉, 모델이 마땅히 거부해야 할 엄격한 제약 조건에 대해 조작된 프레이밍을 충분한 지원으로 수용한다는 것입니다.