Diagnosing and Repairing Citation Failures in Generative Engine Optimization

이 논문은 생성형 엔진 최적화 (GEO) 에서 인용 실패의 원인을 진단하고 맞춤형 개입을 수행하는 에이전트 시스템인 AgentGEO 를 제안하여, 기존 방법 대비 인용률을 40% 이상 향상시키면서 콘텐츠 수정량은 5% 로 최소화하는 효율적인 프레임워크를 제시합니다.

핵심

이 논문은 **"AI 가 답변을 줄 때, 왜 내 웹사이트는 인용되지 않고 넘어가는가?"**라는 질문에 답하고, 그 문제를 해결하는 방법을 제시합니다.

기존의 방법들은 "내용을 더 길게 쓰거나, 더 전문적인 어조를 쓰라"는 일반적인 조언만 했다면, 이 논문은 **"왜 인용이 안 됐는지 원인을 찾아서 딱 맞는 치료제를 처방한다"**는 새로운 접근법을 소개합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "보이지 않는 가게"

과거에는 사람들이 검색을 하면 검색 엔진이 웹사이트 목록을 보여줬습니다. 사람들은 목록을 보고 클릭해서 들어갔죠. (기존 검색 엔진)

하지만 요즘은 AI 가 답변을 바로 만들어 줍니다. (생성형 AI)

• 예시: "제킬 박사를 연기한 배우는 누구?"라고 물으면, AI 가 바로 "한크 해리스입니다"라고 답하고, 그 뒤에 작은 숫자 [1] 을 붙여 출처를 알려줍니다.

여기서 큰 문제가 생겼습니다.

• 사람들은 AI 가 바로 답을 해주니까, 출처 링크를 클릭할 확률이 1% 미만으로 떨어졌습니다.
• 하지만, 만약 클릭이 된다면 그 방문자는 매우 가치 있는 고객입니다.
• 결론: 웹사이트 주인들에게는 "링크가 클릭되는지"보다 **"AI 가 내 사이트를 출처로 인용해 주는지"**가 생사가 달린 문제입니다.

2. 기존 방법의 한계: "모두에게 같은 약을 주는 의사"

기존의 '생성형 엔진 최적화 (GEO)' 방법들은 웹사이트를 고칠 때 모든 사이트에 똑같은 규칙을 적용했습니다.

• "통계를 더 넣어라."
• "전문가 같은 말투로 써라."
• "문장을 더 매끄럽게 고쳐라."

비유하자면:
모든 환자가 감기에 걸렸다고 가정하고, 모두에게 같은 감기약을 처방하는 것과 같습니다.

• 어떤 환자는 코가 막혀서 (기술적 문제) 약이 필요하고,
• 어떤 환자는 약이 너무 짜서 (내용 문제) 소금기를 줄여야 하며,
• 어떤 환자는 약이 유통기한이 지났습니다 (정보 오래됨).

이런 개별적인 원인을 모르고 무작정 약을 주면, 오히려 병이 더 나빠질 수 있습니다.

3. 이 논문의 해결책: "AgentGEO" (똑똑한 진단사)

이 논문은 AgentGEO라는 시스템을 소개합니다. 이는 마치 정밀 진단을 하는 전문 의사와 같습니다.

작동 원리 (3 단계):

1. 진단 (Diagnose):

   • AI 가 내 사이트를 인용하지 않은 이유를 찾아봅니다.
   • "아, 이 사이트는 HTML 코드가 깨져서 AI 가 내용을 읽지 못했구나 (기술적 문제)."
   • "아, 질문은 '한국 맛집'인데 사이트는 '미국 맛집' 정보만 있구나 (의도 불일치)."
   • "아, 중요한 정보가 페이지 맨 아래에 숨겨져서 AI 가 보지 못했구나 (내용 배치 문제)."
   • 이 논문은 실패 원인을 4 가지 큰 카테고리로 나누어 체계적으로 분류했습니다.

2. 치료 (Repair):

   • 진단 결과에 따라 딱 맞는 치료 도구를 선택합니다.
   • 코드가 깨졌으면 코드를 고치고, 정보가 부족하면 사실을 추가하고, 정보가 숨겨져 있으면 위로 끌어올립니다.
   • 핵심: 전체를 다시 쓰는 게 아니라, 문제 있는 부분만 5% 정도만 수정합니다. (기존 방법은 25% 를 다 고쳐서 오히려 원본의 맛을 잃게 만들었습니다.)

3. 검증 (Verify):

   • 고친 후 다시 AI 에게 물어봅니다. "이제 인용해 줄래?"
   • 아직 안 되면 다시 진단하고 치료합니다.

4. 새로운 기준: "한 번의 질문이 아닌, 다양한 질문"

기존 연구들은 "하나의 질문"에 대해 웹사이트를 최적화했습니다. 하지만 실제로는 사람들이 같은 내용을 묻더라도 수많은 다른 말투로 질문합니다.

• 비유: "맛있는 피자"를 찾으러 온 사람도 있고, "저렴한 피자"를 찾는 사람도 있고, "생일 파티용 피자"를 찾는 사람도 있습니다.
• 이 논문은 MIMIQ라는 새로운 테스트 기준을 만들었습니다. 하나의 웹사이트에 대해 수십 가지 다른 질문을 던져보고, 이 웹사이트가 모든 상황에서 잘 인용되는지 확인합니다.
• 이렇게 하면 특정 질문에만 맞춰진 '가짜 최적화'를 막을 수 있습니다.

5. 주요 성과 및 교훈

1. 정밀 치료가 승리: 무작정 고치는 것보다 원인을 찾아 고치는 것이 인용률을 40% 이상 높였습니다.
2. 적은 수정, 큰 효과: 전체 내용을 25% 고치는 대신, 5% 만 고쳐도 효과가 훨씬 컸습니다.
3. 모든 병은 고칠 수 없음: 때로는 경쟁사가 너무 강력하거나 (예: 위키피디아), 시스템적인 이유로 아무리 고쳐도 인용되지 않는 경우도 있습니다. 이 부분은 AI 의 편향성 문제이므로, 웹사이트 주인이 노력만으로는 해결할 수 없는 한계가 있음을 인정해야 합니다.

요약

이 논문은 **"AI 가 내 사이트를 인용하지 않는 이유를 찾아내어, 딱 맞는 부분만 고치는 지능형 시스템"**을 개발했습니다.

기존의 "무조건 더 길고 전문적으로 쓰라"는 조언 대신, **"왜 인용이 안 됐는지 진단하고, 그 이유에 맞춰 코드를 고치거나 정보를 배치하라"**는 맞춤형 처방을 통해 웹사이트 주인들이 AI 시대에 살아남을 수 있는 길을 제시합니다.

기술 요약

1. 문제 정의 (Problem Statement)

배경:
생성형 AI 엔진 (Generative Engines, GE) 의 등장으로 콘텐츠 크리에이터들은 기존 검색 엔진 (SEO) 과는 다른 형태의 트래픽 손실을 겪고 있습니다. 기존 검색 엔진이 링크 목록을 반환하여 사용자를 웹사이트로 유도했다면, 생성형 엔진은 답변을 직접 생성하여 사용자의 클릭을 줄이기 때문입니다. 이에 따라 Google AI Overview, Perplexity, ChatGPT 검색 모드 등은 답변에 **출처 인용 (Citation)**을 포함하는 방식을 도입했습니다.

핵심 문제:
기존의 생성형 엔진 최적화 (GEO) 연구는 주로 '기여도 (Contribution)' (예: 답변 중 해당 문서가 차지하는 단어 비율) 를 최적화하는 데 초점을 맞추었습니다. 그러나 크리에이터에게 중요한 것은 답변에 얼마나 많이 언급되는지가 아니라, 실제로 인용 (Citation) 되어 트래픽을 유도받는지 여부입니다.

• 현실: 많은 관련성 있는 웹페이지가 인용되지 않고 무시당합니다.
• 기존 방법의 한계: 기존 GEO 방법론은 "통계 추가", "권위 있는 어조 사용", "유창성 개선"과 같은 일반적인 (Generic) 규칙을 모든 문서에 일괄 적용합니다. 이는 인용 실패의 원인이 매우 다양함 (기술적 오류, 의미 불일치, 콘텐츠 품질 등) 을 고려하지 못하며, 특정 문서가 왜 인용되지 않는지 **진단 (Diagnosis)**하지 못합니다.

2. 방법론 (Methodology)

이 논문은 AgentGEO라는 새로운 진단 기반 접근법을 제시합니다. 이는 "어떤 일반적인 개선이 도움이 될까?"가 아니라 "이 웹페이지가 왜 인용되지 않았는가?"를 질문하고, 그에 따라 맞춤형 수리를 수행하는 에이전트 시스템입니다.

2.1. 인용 실패 분류 체계 (Taxonomy of Citation Failures)

생성형 엔진 파이프라인 (검색 -> 추출/파싱 -> 생성) 전반에 걸쳐 발생하는 실패 모드를 4 가지 주요 카테고리로 체계화했습니다.

1. 기술적 무결성 (Technical Integrity, 10.1%): 웹페이지가 제대로 수집/파싱되지 않는 경우.
   • 예: 접근 차단 (403, 로그인 벽), JavaScript 렌더링 실패, 파싱 오류, 과도한 노이즈 (광고/네비게이션).
2. 의미 정렬 (Semantic Alignment, 62.2%): 콘텐츠가 쿼리의 의도와 맞지 않는 경우.
   • 예: 의도 불일치 (정보성 vs 거래성), 맥락적 결손 (특정 엔티티 누락), 구식 정보, 지역화 불일치.
3. 콘텐츠 품질 (Content Quality, 27.1%): 주제는 맞지만 표현이 나쁜 경우.
   • 예: 정보 부족, 콘텐츠 분산, 과도한 장황함, 비구조화된 레이아웃.
4. 시스템적 배제 (Systemic Exclusion, 0.6%): 콘텐츠 자체의 문제보다는 구조적 불리함.
   • 예: 경쟁적 중복 (위키백과 등 고권위 소스와 동일 내용), 컨텍스트 윈도우 잘림 (깊은 곳에 숨겨진 내용).

2.2. AgentGEO 시스템 아키텍처

AgentGEO 는 진단 - 수리 (Diagnose-then-Repair) 루프를 기반으로 작동합니다.

1. 진단 (Diagnosis): 인용되지 않은 타겟 문서와 인용된 경쟁자 문서를 비교하여 실패 원인 (Vulnerability) 을 위 분류 체계에 따라 식별합니다.
2. 도구 선택 (Tool Selection): 진단된 원인에 따라 전용 도구 라이브러리에서 최적의 수리 도구를 선택합니다.
   • 메모리 메커니즘: 이전 시도 실패 기록을 저장하여 동일한 실수를 반복하지 않도록 합니다.
   • 도구 예시: 엔티티 주입, 데이터 시리얼라이제이션 (텍스트→표), BLUF (Bottom Line Up Front) 최적화, 노이즈 격리, 의도 정렬 등.
3. 반복적 개선 (Iterative Refinement): 수정된 문서를 다시 테스트하여 인용이 달성될 때까지 루프를 반복합니다.
4. 쿼리 간 집계 (Aggregation): 여러 학습 쿼리에 대한 수정 사항을 통합하여, 특정 쿼리에 과적합되지 않는 일관된 웹페이지 수정안을 생성합니다.
5. 로컬라이즈 편집 (Localized Editing): 전체 문서를 다시 쓰는 것이 아니라, HTML 구조를 인식한 'Chunk' 단위로만 수정하여 원본 콘텐츠의 충실도 (Faithfulness) 를 유지합니다.

2.3. 벤치마크: MIMIQ

기존 벤치마크의 한계 (단일 쿼리 기반) 를 극복하기 위해 **MIMIQ (Multi-Intent Multi-Query)**를 제안했습니다.

• 문서 중심 (Document-Centric): 하나의 문서에 대해 다양한 의도, 페르소나, 표현을 가진 여러 쿼리를 생성합니다.
• 일반화 평가: 학습용 쿼리 세트로 최적화하고, 보지 못한 테스트 쿼리 세트로 평가하여 최적화가 특정 쿼리 형식에 과적합되었는지 확인합니다.
• HTML 구조 평가: 기존 벤치마크가 콘텐츠만 평가했다면, MIMIQ 는 HTML 구조 데이터도 포함하여 파싱 실패 등을 평가합니다.

3. 주요 기여 (Key Contributions)

1. GEO 를 위한 진단적 접근법: 단순한 콘텐츠 재작성이 아닌, 인용 실패의 근본 원인을 진단하고 맞춤형으로 수리하는 에이전트 시스템 (AgentGEO) 을 최초로 제안했습니다.
2. 인용 실패 분류 체계: 파싱, 추출, 생성 단계 전반에 걸친 4 가지 실패 모드와 10 가지 하위 유형을 체계적으로 분류했습니다.
3. MIMIQ 벤치마크: 문서 중심의 다중 쿼리 평가 환경을 구축하여, GEO 방법론의 일반화 능력과 HTML 구조 최적화 능력을 종합적으로 평가할 수 있게 했습니다.

4. 실험 결과 (Results)

• 성능 향상: AgentGEO 는 여러 생성형 엔진 (GPT, Claude) 에서 인용률 (Citation Rate) 을 40% 이상 상대적으로 향상시켰습니다. (예: In-context generation 에서 79.52% 달성, 기존 최상위 베이스라인 대비 10.72%p 우위).
• 콘텐츠 보존: 기존 방법 (AutoGEO 등) 은 원본 콘텐츠의 약 25% 를 변경하는 반면, AgentGEO 는 단 5% 만 수정하여 인용률을 높였습니다. 이는 인용 실패가 전역적인 품질 문제라기보다 특정 지점의 결함임을 시사합니다.
• 일반화 능력: MIMIQ-OOD (Out-of-Distribution) 설정에서 AgentGEO 는 AutoGEO 대비 6.44%p 더 높은 인용률을 보이며, 보지 못한 사용자 페르소나와 쿼리에도 효과적으로 대응함을 입증했습니다.
• 장기적 콘텐츠 (Long-tail) 보호: 일반적인 규칙을 적용하면 건강 (Health) 등 특정 주제에서 오히려 인용률이 하락하는 현상이 관찰되었으나, AgentGEO 는 진단 기반 최적화로 이러한 주체에서도 일관된 개선을 보였습니다.
• 한계: 일부 경우 (예: 고권위 경쟁자가 존재하거나 시스템적 편향이 심한 경우) 는 콘텐츠 최적화만으로는 인용을 회복할 수 없음을 발견했습니다.

5. 의의 및 결론 (Significance)

이 논문은 생성형 엔진 시대의 콘텐츠 최적화 패러다임을 '일반적인 규칙 적용'에서 '진단 기반 맞춤형 수리'로 전환시켰다는 점에서 의의가 큽니다.

• 효율성: 불필요한 대규모 재작성 없이 소량의 표적 수정으로 큰 효과를 얻을 수 있음을 입증했습니다.
• 형평성: 특정 주제나 도메인에서 기존 일반화 규칙이 가져올 수 있는 편향을 줄이고, 다양한 콘텐츠 유형에 공정한 가시성을 제공할 수 있음을 시사합니다.
• 시스템적 통찰: 인용 실패가 단순히 콘텐츠 품질만의 문제가 아니라, 파싱 기술, 구조적 배제 등 시스템적 요인과도 밀접함을 보여주어, 향후 GEO 연구가 콘텐츠뿐만 아니라 기술적 파이프라인까지 고려해야 함을 강조합니다.

결론적으로, AgentGEO 는 크리에이터가 AI 생성 답변에서 소외되지 않고, 고품질 트래픽을 유지할 수 있도록 돕는 강력한 진단 및 최적화 프레임워크를 제공합니다.