기술 요약: 확률적 상태에서 안정적 상태로

문제 정의

생성형 검색 엔진에서의 AI 가시성 측정은 어떤 도메인이 가장 빈번하게 인용되는지, 그리고 관찰된 차이가 경쟁 전략을 수립할 만큼 통계적으로 유의미한지를 결정하기 위한 근본적인 비교 작업이다. 그러나 업계에는 충분한 데이터가 수집되었는지를 판단하기 위한 원칙적인 방법론이 부족하다. 현재의 관행은 고정된 수집 예산이나 임의적인 상관관계 임계값에 의존하고 있는데, 이는 생성형 검색의 확률적(stochastic) 특성을 반영하지 못한다.

생성형 검색 엔진은 동일한 쿼리에 대해 가변적인 출력을 생성하므로, 인용 점유율(citation share)은 고정된 수량이 아니라 샘플링 변동성에 영향을 받는 표본 통계량이 된다. 이러한 변동성은 두 가지 뚜렷한 과제를 야기한다:

1. 순위 불안정성(Rank Instability): 데이터 수집 초기에는 상위 인용 도메인들이 일관된 격차를 확보할 만큼 충분한 인용 횟수를 축적하지 못했기 때문에, 도메인 간의 순위가 크게 변동한다.
2. 측정 불확실성(Measurement Uncertainty): 순위 결정이 안정화된 후에도, 인용 점유율에 대한 신뢰 구간(CI)이 인접한 도메인들을 구별하기에는 너무 넓을 수 있다. 안정적인 순위가 반드시 정밀한 순위를 의미하는 것은 아니다. 만약 "신호"(점유율의 확산)가 "소음"(추정치의 불확실성)보다 작다면, 해당 순위는 신뢰할 수 있는 추론을 뒷받로 할 수 없다.

핵적인 어려움은 인용 밀도와 분포 구조가 플랫폼과 주제에 따라 크게 다르다는 점이다. 결과적으로, 고정된 쿼리 수나 고정된 순위 상관관계 임계값(예: $\rho \ge 0.95$)을 보편적으로 적용하는 것은 정당화될 수 없다.

방법론

본 논문은 외부에서 지정된 쿼리 수, 상관관계 수준, 또는 신뢰 구간 너비와 같은 목표치 없이, 관찰된 인용 분포로부터 직접 도출된 두 가지 상호 보완적인 기준에 기반한 **순차적 수렴 프레임워크(sequential convergence framework)**를 소개한다.

1. 데이터 및 추정

• 데이터셋: 이 프레임워크는 Google Gemini, OpenAI SearchGPT, Perplexity의 3개 생성형 검색 엔진과 30개의 플랫폼-주제 조합에 적용되었다. 10개의 다양한 주제가 사용되었으며, 주제 및 플랫폼당 125개의 쿼리가 생성되었다.
• 부트스트랩 리샘플링(Bootstrap Resampling): 불확실성을 정량화하기 위해, 저자들은 응답 내 인용 클러스터링(clustering)을 보존하기 위해 (인용 단위가 아닌) 쿼리 단위의 다항 부트스트랩 리샘플링을 사용한다. 각 부트스트랩 반복마다 인용 점유율을 재계산하며, 95% BCa(편향 수정 및 가속) 신뢰 구간을 산출한다.
• 확립된 도메인 vs 관찰된 도메인: "관찰된 도메인"(최소 1회 인용됨)과 "확립된 도메인"(95% 신뢰 구간이 0을 포함하지 않는 도메인)을 구분한다. 구조적 충분성은 오직 확립된 도메인 집합만을 대상으로 평가된다.

2. 기준 I: 순위 안정성 (Rank Stability)

순위 안정성은 고정된 임계값을 넘어서는 것이 아니라, 순위 상관관계 궤적의 구조적 고원(plateau)을 탐지함으로써 결정된다.

• 지표: 연속적인 누적 응답 윈도우 간의 가중 스피어만 순위 상관계수($\rho$)를 계산한다. 가중치는 두 윈도우 간의 평균 인용 점유율이며, 이를 통해 상위 점유율 도메인의 변화가 롱테일(long tail)의 변화보다 상관계수에 더 큰 영향을 미치도록 한다.
• 탐지: 상관관계 궤적에 세그먼트 모델 피팅(Isotonic regression을 위한 Pool-Adjacent-Violators 알고리즘 사용)을 적용한다. 이 모델은 "상승 단계"와 "평탄한 꼬리(flat tail)"를 테스트한다.
• 결정 규칙: Bayesian Information Criterion (BIC)이 순수 상승 모델보다 평탄한 꼬리를 가진 모델을 선택하고, 그 평탄한 꼬리가 최소 15개의 연속된 응답에 걸쳐 유지될 때 안정성이 선언된다. 이 접근 방식은 절대적인 상관계수 값이 낮더라도(예: 인용 밀도가 낮은 환경에서), 순위가 변하는 것을 멈췄는지를 탐지한다.

3. 기준 II: 구조적 충분성 (Structural Sufficiency)

구조적 충분성은 확립된 도메인들 사이의 인용 점유율 확산이 추론을 뒷받로 할 만큼 측정 불확실성 대비 충분히 큰지를 평가한다.

• 지표: 구조적 신호 대 잡음비(Structural Signal-to-Noise Ratio, SNR)를 다음과 같이 계산한다:
  $$\text{SNR} = \frac{\sigma(s_d : d \in D_{est})}{\bar{h}_{CI}}$$
  여기서 $\sigma$는 확립된 도메인들 간의 인용 점유율 표준편차(신호)이고, $\bar{h}_{CI}$는 이들의 95% 부트스트랩 신뢰 구간의 평균 반폭(half-width, 소음)이다.
• 결정 규칙: SNR $\ge 1$일 때 충분성이 달성된 것으로 간주한다. 이는 점유율의 확산이 전형적인 측정 불확실성을 초과함을 의미한다. 조기 종료를 방지하기 위해 원시 SNR 시리즈는 지수 가중 이동 평균(EWMA)을 사용하여 매끄럽게 처리된다.

4. 결합 수렴 (Conjunctive Convergence)

플랫폼-주제 조합은 순위 안정성과 구조적 충분성이 동시에 충족될 때만 "수렴"된 것으로 간주된다. 중단 시점은 두 개별 조건 중 더 늦게 발생하는 시점이다.

주요 결과

프레임워크는 30개의 플랫폼-주제 조합(10개 주제 $\times$ 3개 플랫폼)에 적용되었다.

• 수렴율: 125개 응답 수집 창 내에서 30개 중 27개의 조합이 수렴하였다. 수렴하지 않은 3개의 사례는 모두 특정 주제("identity protection", "travel destinations", "homemade chili")에 대한 SearchGPT였으며, 이 경우 인용 점유율이 측정 노이즈에 비해 너무 밀집되어 있어 SNR이 1에 도달하지 못했다.
• 제약 요인 (Binding Constraints):
  • 수렴한 27개 사례 중 16개에서는 순위 안정성이 제약 요인(마지막으로 충족된 조건)이었다.
  • 수렴한 27개 사례 중 11개에서는 구조적 충분성이 제약 요인이었다.
  • 이는 안정성만으로는 불충분하며, 정밀도가 안정성보다 뒤처지는 경우가 많음을 보여준다.
• 고정 임계값의 실패: $\rho \ge 0.95$를 15회 지속하는 고정 상관관계 임계값은 30개 조합 중 19개에서만 충족되었다. 반면, 플래토 기반 탐지법은 인용 밀도가 낮아 $\rho = 0.95$에 도달할 수 없는 경우를 포함하여 30개 사례 모두에서 안정성을 성공적으로 식별하였다.
• 검증: 중단 시점의 순위와 전체 125-응답 윈도우에서의 순위를 비교하였다.
  • 순위 안정성만으로 중단했을 경우 일부 사례에서 일치도가 낮았다 (예: SearchGPT/"identity protection"은 최종 순위와 상관관계가 0.364에 불과함).
  • 결합 기준(Conjunctive criterion)은 최악의 경우 일치도를 0.717까지 높여 "바닥(floor)"을 개선하였다.
  • 수렴된 사례의 중단 시점과 최종 순위 간의 중앙값 일치도는 0.844였다.
• 플랫폼 차이: 수렴 속도는 플랫폼의 정체성보다는 인용 밀도와 응답 내 클러스터링(Design Effect)에 의해 결정되었다. SearchGPT는 응답당 인용되는 도메인 수는 적었지만, 클러스터링이 낮아 Gemini나 Perplexity보다 각 응답이 더 많은 "유효한" 데이터를 제공했다.

의의 및 기여

본 논문은 생성형 검색 최적화 및 평가 분야에 세 가지 주요 기여를 한다:

1. 수렴 기준으로서의 순위 안정성: 순위 안정성은 고정된 임계값을 넘는 것이 아니라 모델 선택을 통한 상관관계 궤적의 구조적 고원을 통해 탐지되어야 함을 확립하였다. 이는 인용 밀도가 낮아 고정 임계값에 도달하지 못하더라도 분포가 안정되었을 때 이를 식별할 수 있게 하여 기존 문제를 해결한다.
2. 중단 규칙으로서의 구조적 충분성: 신호(점유율 확산)와 노이즈(CI 너비)의 비율에 기반한 데이터 기반 중단 기준을 도입하였다. 이는 단순한 샘플 크기 추정을 넘어, 수집된 데이터가 경쟁자를 구별할 수 있을 만큼 정밀한지를 보장한다.
3. 고정 예산의 거부: 고정된 수집 예산(쿼리 수)이 보편적으로 충분하지 않다는 것을 입증하였다. 필요한 데이터의 양은 플랫폼과 주제의 특정 인용 분포에 따라 전적으로 달라진다. 본 프레임워크는 측정 준비가 완료되었음을 판단할 수 있는 실용적이고 자기 교정적인 메커로니즘을 제공한다.

이 프레임워크는 AI 가시성 측정이 확률적 노이즈에서 안정적이고 신뢰할 수 있는 신호로 전환되는 시점을 결정하기 위한 실질적인 토대로 제시되며, 이를 통해 실무자들이 알려진 불확실성 범위 내에서 경쟁적 의사결정을 내릴 수 있도록 한다.