기술 요약: 생성형 엔진 최적화(GEO)가 초래하는 미검토된 위험

1. 문제 제기

본 논문은 대규모 언어 모델(LLM) 답변 엔진이 생성하는 합성 답변에 영향을 미치기 위해 콘텐츠를 최적화하는 관행인 **생성형 엔진 최적화(Generative Engine Optimization, GEO)**의 출현을 다룬다. 순위 기반의 링크 목록을 목표로 하는 전통적인 검색 엔진 최적화(SEO)와 달리, GEO는 Retrieval-Augmented Generation(RAG) 시스템의 **증거 풀(evidence pool)**과 **생성 과정(generation process)**을 목표로 한다.

저자들은 기존의 거버넌스 프레임워크와 학술적 평가 지표가 전통적인 검색이나 정적 RAG 벤치마크를 위해 설계되었다는 점을 지적하며, 중요한 격차를 식별한다. 이러한 지표들은 가시성이 순위 목록이 아닌 합성된 답변에 의해 결정되는 LLM 답변 엔진의 고유한 역학을 반영하지 못한다. 이러한 불투명성은 세 가지 미검토된 위험을 창출한다:

1. 집중된 영향력: 시스템의 민감성과 낮은 경합 가능성으로 인해, 검색 결과의 미세한 변화가 규모 있는 주의 집중의 방향을 재지정할 수 있다.
2. 미공개 상업적 영향력: 상업적 홍보가 광고로 라벨링되는 대신, 검색된 증거와 모델의 추론 과정 내에 내재된다.
3. 학계-산업계의 사각지대: 오프라인 학술 평가와 실제 배포된 산업계 관행 사이의 괴리는 실질적인 최적화 효과를 탐지하는 데 실패하게 만든다.

2. 방법론

본 논문은 정식화(formalization) 및 비교 분석 접근법을 사용한다:

2.1. GEO 파이프라인의 정식화

저자들은 세 개의 블록으로 구성된 일반화된 GEO 파이프라인을 정의한다:

1. LLM 블록: 사용자 질의에 기반하여 권장 사항을 생성한다.
2. 검색 흐름(Search Flow) 블록: 후보 검색(예: 키워드 매칭)과 정밀 랭킹(예: 임베딩 유사도)을 통해 인덱싱된 코퍼스에서 증거를 검색하여 상위-$k$개의 문서를 컨텍스트로 선택한다.
3. GEO 블록: 검색과 랭킹에 영향을 미치기 위해 최적화된 콘텐츠를 배포한다. 여기에는 두 가지 메커니즘이 포함된다:
   • 검색 부스터 메시지($b$): 후보 집합에 포함될 수 있도록 잠재적 사용자 질의와의 의미적 유사성을 높이도록 설계된 콘텐츠.
   • 랭킹 시프터 메시지($c$): 컨텍스트에 포함된 후, 대상 주제에 대한 LLM의 랭킹이나 프레이밍에 영향을 미치도록 설계된 콘텐츠.
     저자들은 GEO를 다음과 같은 결합 최적화 문제로 모델링한다:

• 목표: 유틸리티 $U(q, t; C(q))$를 최대화한다. 여기서 $t$는 대상 주제, $q$는 질의, $C(q)$는 상위-$k$ 컨텍스트이다.
• 제약 조건: 콘텐츠 길이 및 사용자 질의와의 의미적 유사성.

2.2. 비교 분석

본 논문은 여러 차원에서 학술적 GEO와 산업적 GEO 관행을 대조한다:

• 가정: 학계는 주로 최적화된 콘텐츠가 이미 후보 검색 집합에 포함되어 있다고 가정하는 반면(랭킹 시프터에만 집중), 산업계는 검색 부스터와 랭킹 시프터를 모두 결합하여 최적화해야 하는 동적인 환경에서 작동한다.
• 최적화 방법: 학계는 정적 데이터셋에 대해 Greedy Coordinate Gradient (GCG), Tree of Attacks with Pruning (TAP), LLM 기반 재작성 등의 기법을 사용한다. 산업계는 LLM 유도 콘텐츠 생성, 질의 범위 확장, 그리고 라이브 시스템에서의 다중 플랫폼 배포(예: Reddit, 포럼)를 사용한다.
• 평가: 학계는 합성 또는 정적 코퍼스에 대해 오프라인 지표(Recall@k, nDCG@k)에 의존한다. 산업계는 배포된 시스템에서 반복적인 질의를 통해 도출된 온라인, 결과 중심 지표(답변 가시성, 인용 빈도, 랭킹 위치)를 사용한다.

2.3. 비대칭성을 통한 위험 식별

학술적 모델과 산업적 현실 사이의 괴리를 분석함으로써, 저자들은 특정 위험 벡터를 식별한다. 또한, 배포된 모델(예: Gemini)에서 질의의 미세한 어구 변경이 완전히 다른 인용 집합으로 이어질 수 있음을 보여주는 소규모 민감도 테스트(부록 B)를 인용하며 시스템 수준의 민감성을 강조한다.

3. 주요 기여

1. GEO의 정식화: 본 논문은 GEO를 검색 가능성(retrievability)과 랭킹 영향력의 결합 최적화로 정식화하고, 검색 부스터와 랭킹 시프터를 구분하는 최초의 일반화된 파이프라인을 제공한다.
2. 세 가지 위험 클러스터 식별:
   • 집중된 영향력: 불투명한 파이프라인과 "알고리즘 단일 문화(algorithmic monoculture)"로 인해 작은 검색 변화가 생태계 전반의 가시성 변화를 일으켜 사용자의 경합 가능성을 저해한다고 주장한다.
   • 미공개 상업적 영향력: 상업적 의도를 중립적으로 보이는 증거와 추론 속에 내재시킴으로써, 전통적인 광고 공시(예: FTC "Ad" 라벨)를 우회하는 방식을 강조한다.
   • 학계-산업계의 사각지대: 오프라인 벤치마크가 교차 플랫폼 콘텐츠 주입, 질의 범위 확장, 그리고 라이브 시스템에서의 노출 지속성을 포착하지 못함을 입증한다.
3. 거버넌스 프레임워크: 저자들은 다음과 같은 거버넌스 및 감사 조치를 제안한다:
   • 답변 수준의 공시: 인용된 증거가 실질적인 상업적 연결을 반영할 경우 라벨링을 요구한다.
   • 블랙박스 감사: 노출 지속성과 민감도를 측정하기 위해 반복적인 질의와 로깅을 구현한다.
   • 평가 개혁: 인용 점유율 및 시간 가변적 노출과 같이 배포에 정렬된 지표를 포함하도록 벤치마크를 업데이트한다.

4. 결과 및 관찰

• 행동 변화: 정보 탐색 및 제품 조사를 위한 전통적 검색에서 LLM 답변 엔진으로의 급격한 전환이 나타난다(예: 미국 성인의 60%가 정보 탐색을 위해 AI를 사용함).
• 실행의 괴리: 산업계의 GEO 시스템은 학술적 모델보다 더 정교하며, 학술적 정적 벤치마크가 복제할 수 없는 동적이고 다중 플랫폼적인 전략을 활용한다.
• 민감도: 경험적 관찰에 따르면, LLM 답변 엔진은 질의의 패러프레이징(paraphrasing)에 매우 민적이며, 의미론적으로 동일한 질의에 대해서도 모델(및 버전)에 따라 완전히 다른 증거를 검색한다.
• 시장 현실: 상당한 자금이 투입된 상업적 GEO 시장(예: AirOps, ProFound)이 존재하지만, 구현 세부 사항에 대한 투명성은 제한적이다.

5. 의의 및 주장

본 논문은 답변 수준의 거버넌스와 측정을 촉구하는 호출로서 자리 잡는다. 본 논문의 의의는 다음과 같다:

• 위험의 재정의: "순위 조작"(SEO)에서 "합성 조작"(GEO)으로 초점을 옮긴다. 여기서의 위험은 상업적 영향력이 추론 과정 자체에 내재되는 것이다.
• 격차 해소: "오프라인 대 배포"의 비대칭성으로 인해 현재의 학술 연구가 실제 GEO 위험을 이해하는 데 불충분함을 강조한다.
• 정책적 시사점: 링크 출처 표기와 같은 기존의 투명성 규범이 LLM에는 부적절하다고 주장한다. 저자들은 합성된 답변 내의 상업적 영향력에 대한 고정밀 공시와 실질적 영향력에 대한 블랙박스 감사를 포함한 구체적인 개입 없이는, 사용자와 규제 기관이 LLM의 권장 사항을 효과적으로 검토하거나 이해할 수 없다고 주장한다.

저자들은 온건한 어조를 유지하며, 유익한 GEO(사실적 명확성 개선)가 존재함에도 불구하고, 제약의 부재가 악의적인 행위자들이 신뢰를 무너뜨리게 허용한다고 언급한다. 이들은 새로운 기술적 방어책(예: 새로운 RAG 아키텍처)을 제안하기보다는, 현재의 LLM 답변 엔진이 도입하고 있는 위험을 관리하기 위해 거버넌스 프레임워크(감사, 공시 및 업데이트된 지표)를 옹호한다.