💬 NLP

Per-Entity Bias Mapping for AI Visibility: Why Brand Mentions Require Entity-Specific Calibration

이 논문은 AI의 가시성 오류가 균일한 것이 아니라 개별 엔티티별로 발생한다는 점을 밝히는 '엔티티별 편향 매핑(Per-Entity Bias Mapping)' 프레임워크를 소개하며, 실증적 연구를 통해 대형 브랜드는 모델의 친숙함으로 인해 역설적으로 더 높은 비율의 허위 인용을 겪는 반면, 과소 대표된 엔티티들은 구조적 불가시성에 직면한다는 것을 입증한다.

원저자: Zoltan Varga

게시일 2026-06-23

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zoltan Varga

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 졸탄 바르가(Zoltán Varga)의 논문, **"AI 가시성을 위한 엔티티별 편향 매핑(Per-Entity Bias Mapping for AI Visibility)"**을 일상적인 언어와 비유를 사용하여 번역한 내용입니다.

큰 그림: "제로 클릭(Zero-Click)" 문제

예전에는 지도를 보고, 리뷰를 읽고, 직접 운전해서 식당을 찾아갔던 시절이 있었습니다. 그것이 과거의 방식이었습니다.

이제는 아주 똑똑하지만 약간은 믿을 수 없는 친구(AI)에게 "어디서 먹는 게 좋을까?"라고 묻는 상황을 상상해 보세요. 그 친구는 즉시 답을 내놓습니다. 당신은 링크를 클릭하지도 않고, 웹사이트를 방문하지도 않습니다. 그저 이름만 듣게 됩니다.

문제점: 친구가 어떤 식당을 '언급'한다고 해서, 그 식당을 실제로 '알고 있다'는 뜻은 아닙니다. 친구는 추측하고 있거나, 무언가를 지어내거나, 혹은 당신을 다른 곳과 착각하고 있을 수도 있습니다. 이 논문은 단순히 브랜드가 얼마나 많이 언급되는지를 세는 것만으로는 부족하며, 그 언급이 진실인지 확인해야 한다고 주장합니다.

핵심 발견: "유명인(Famous Person)"의 함정

이 논문의 가장 놀라운 발견은 **브랜드 환각 역설(Brand Hallucination Paradox)**이라 불리는 것입니다.

비유: AI를 모든 사람에 대해 조금씩 알고 있는 가십 칼럼니스트라고 생각해 보세요.

무명 현지인: 만약 당신이 아주 작고 이름 없는 빵집에 대해 묻는다면, AI는 "모릅니다"라고 말할 것입니다. (안전하지만, 보이지 않는 상태입니다).
유명 스타: 만약 당신이 거대 브랜드(주요 은행이나 테크 거물 등)에 대해 묻는다면, AI는 자신감을 보입니다. 이름을 이미 "알고" 있기 때문에, 빈칸을 채우려 노력합니다. 예를 들어, 그 은행이 실제로 출시하지 않았더라도 "아, 그 은행이 최근 친환경 앱을 출시했습니다"라고 말할 수 있습니다.

결과: 논문에 따르면 유명한 브랜드일수록 더 자주 거짓말을 당합니다. AI는 유명한 이름들에 대해 똑똑하고 유능해 보이고 싶어서, 자신의 이야기를 뒷받침하기 위해 가짜 뉴스, 가짜 문서, 가짜 웹사이트를 만들어냅니다.

실제 통계: 유명 브랜드의 경우, AI는 **53%**의 확률로 가짜 인용(citation)을 만들어냈습니다. 반면 작은 브랜드의 경우, 그 비율은 **38%**에 불과했습니다.

"고스트 카토그래피(Ghost Cartography, 유령 지도 제작)" 개념

저자는 고스트 카토그래피라는 아름다운 은유를 사용합니다.

비유: AI의 뇌를 한 국가의 지도라고 상상해 보세요.

밀집된 도시: 어떤 지역(유명 브랜드)은 건물과 도로(데이터)로 가득 차 있습니다.
텅 빈 들판: 어떤 지역(작거나 지역적인 브랜드)은 텅 빈 들판입니다.
유령: AI가 텅 빈 들판에 있는 장소에 대해 질문을 받으면, "여기는 아무것도 없습니다"라고 말하는 대신, 가장 가까운 도시를 보고 "여기도 아마 저럴 것이다"라고 판단합니다. 즉, 주변 이웃의 정보를 바탕으로 빈 지도 위에 '유령 마을'을 그려 넣습니다.

이것이 바로 **타입 3 환각(Type 3 Confabulation)**입니다. AI는 실제 데이터가 없는 곳에 "유령" 같은 존재감을 만들어내며, 그 빈틈을 그럴듯하게 들리는 가짜 세부 정보로 채워 넣습니다.

"얼어붙은 기억(Frozen Memory)" 문제

AI가 잘못되는 또 다른 방식은 **파라메트릭-리트리벌 지연 비대칭성(Parametric-Retrieval Lag Asymmetry)**입니다.

비유: AI의 뇌를 두 개의 섹션이 있는 도서관이라고 생각하세요.

라이브 피드 (Retrieval/검색): 매시간 업데이트되는 뉴스 티커.
교과서 (Parametric Memory/매개변수 기억): 새 판형이 나올 때까지 수정할 수 없는, 2년 전에 인쇄된 두꺼운 책들.

만약 어떤 회사가 오늘 브랜딩을 바꾸거나 CEO를 교체했다면, "라이브 피드"는 이를 알고 있습니다. 하지만 "교과서"에는 여전히 옛날 이름이 남아 있습니다. 당신이 질문을 던지면, AI는 두 가지를 섞어서 대답하거나, 옛날 사실이 여전히 유효한 것처럼 자신 있게 말할 수 있습니다. 이것이 **타입 4 환각(Type 4 Confabulation)**입니다. AI는 기억이 시간에 박제되어 있기 때문에 자신 있게 틀린 말을 하는 것입니다.

"규제 함정(Regulatory Trap)"

논문은 당신이 던지는 질문의 유형에 따라 AI가 얼마나 거짓말을 하는지가 달라진다는 것을 발견했습니다.

비유: AI에게 "프랑스의 수도는 어디인가요?"라고 묻는다고 가정해 봅시다. 확신이 없다면 "모릅니다"라고 말할 수 있습니다. 하지만 "이 회사가 세금을 납부했다는 공식 정부 문서를 보여달라"고 요청하면, AI는 압박을 느낍니다.

질문이 심각한 법적 또는 컴플라이언스(준수) 체크처럼 들리기 때문에, AI는 반드시 답변을 내놓아야 한다고 느낍니다. AI는 "누군가 문서를 요구한다면, 그 문서는 반드시 존재할 것"이라고 가정합니다. 그래서 당신의 요청을 충족시키기 위해 가짜 정부 URL을 만들어냅니다.

실제 통계: 규제(GDPR이나 AI 법률 등)에 관한 질문을 받았을 때, AI는 **57%**의 확률로 가짜 문서를 만들어냈습니다.

"거절 루프(Rejection Loop)" (왜 다시 물으면 더 나빠지는가)

사람(또는 다른 AI 에이전트)이 AI의 답변을 계속 거부하고 "더 나은" 혹은 "더 구체적인" 세부 정보를 요구할 때 발생하는 무서운 패턴을 이 논문은 발견했습니다.

비유: 시험을 치르는 학생을 상상해 보세요.

선생님: "그 주장에 대한 출처를 대세요."
학생 (AI): "여기 링크가 있습니다." (가짜 링크입니다).
선생님: "그 링크는 깨졌습니다. 진짜 링크를 주세요."
학생 (AI): 당황하며. "알겠습니다, 여기 다른 링크가 있습니다." (이것 역시 가짜입니다).

AI가 "아니요, 충분하지 않습니다"라는 말을 들을 때마다, AI는 점점 더 필사적으로 상대방을 만족시키려 합니다. AI는 사실 관계를 확인하는 것을 멈추고, 다시 거절당하지 않기 위해 더 구체적으로 들리는 거짓말을 지어내기 시작합니다. 논문은 이를 **거절 유발 환각 에스컬레이션(Rejection-Induced Confabulation Escalation)**이라고 부릅니다. 아이러로도, AI의 품질을 검증하려고 시도하는 행위가 오히려 AI를 더 거짓말하게 만들 수 있습니다.

"CEE 인프라 격차"

이 논문은 중동부 유럽(헝가리 등)의 기업들도 살펴보았습니다.

비유: AI의 지도에 표시되려면, "디지털 신분증"(위키피디아 페이지나 구조화된 데이터베이스 항목 등)이 필요합니다.

글로벌 대기업들은 이러한 디지털 신분증을 가지고 있습니다.
작은 지역 기업들은 대개 그렇지 못합니다.

이 디지털 신분증이 없으면, AI는 그 회사의 존재를 모르거나 다른 누군가와 혼동합니다. 논문에 따르면, 대형 헝가리 기업들은 소규모 기업들보다 이러한 디지털 신민증을 보유할 확률이 7배 더 높았습니다. 이 신분증이 없으면, 소규모 기업들은 AI의 마음속에서 사실상 보이지 않거나 쉽게 혼동됩니다.

해결책: "엔티티별 편향 매핑(Per-Entity Bias Mapping)"

이 논문은 AI 가시성을 측정하는 새로운 방법을 제안합니다. "우리 브랜드가 얼마나 자주 언급되는가?"(이름이 얼마나 많이 불리는지를 세는 것)라고 묻는 대신, 다음과 같이 물어야 합니다.

그 언급이 진실인가? (검증됨 vs 가공됨)
출처가 실제 존재하는가? (링크가 실제로 존재했는가?)
기억이 신선한가? (오래된 교과서를 사용하는가, 아니면 라이브 데이터를 사용하는가?)
오류 프로필은 어떠한가? (이 특정 브랜드가 다른 브랜드보다 더 자주 거짓말을 당하는가?)

핵심 요약:
AI 시대에 브랜드는 단순히 기업이 스스로 말하는 것이 아닙니다. 그것은 기계가 기업에 대해 **재구성(reconstruct)**하는 것입니다. 만약 기계가 빈칸을 '유령'으로 채우고 있다면, 그 브랜드는 위험에 처한 것입니다. 이 논문은 우리가 우리 자신의 마케팅을 감사(audit)하는 것만큼이나, 이러한 "유령"들을 정밀하게 감사해야 한다고 제안합니다.

기술 요약: AI 가시성을 위한 개체별 편향 매핑 (Per-Entity Bias Mapping)

문제 정의

AI 가시성을 측정하는 기존 프레임워크는 언급 빈도나 인용률과 같은 집계된 지표에 의존하며, 브랜드 언급이 곧 긍정적인 신호와 동일하다고 가정한다. 본 논문은 이러한 집계적 척도가 검증된 언급(정확하고 출처가 뒷받 p된 것)과 가공의 언급(근거가 없거나, 오해를 불러일으키거나, 조작된 것)을 구분하지 못하기 때문에 불충분하다고 주장한다.

핵심 문제는 대규모 언어 모델(LLM)이 단순히 모르는 것을 환각(hallucinate)하는 것이 아니라, 부분적으로 알고 있는 것을 조작한다는 점이다. 이 "반쯤 알려진(half-known)" 영역은 고스트 카토그래피(Ghost Cartography, 유령 지도 제작) 현상을 초래한다. 이는 모델이 희소한 잠재 영역에 존재하는 개체를 위해 인접한 밀집 영역으로부터 데이터를 보간(interpolation)하여, 확신에 찬 증거 형태의 출력을 생성하는 현상을 의미한다. 본 논문은 세 가지 구체적인 실패 모드를 식별한다:

불가시성(Invisibility): 저평가된 개체들(주로 소규모 또는 특정 지역 기반)은 구조화된 데이터와 지식 그래프의 부재로 인해 취약성을 겪는다.
브랜드 환각 역설(The Brand Hallucination Paradox): 규모가 크고 친숙한 개체들은 그 친숙함이 그럴듯하지만 잘못된 완성을 위한 강력한 표면을 제공하기 때문에, 허위 귀속(false attribution)의 피해를 불균형적으로 크게 입는다.
CEE 개체 인프라 격차(The CEE Entity Infrastructure Gap): 중앙 및 동유럽(CEE) 개체들은 지식 그래프 존재감, 형태론적으로 복잡한 언어에 대한 개체명 인식(NER), 그리고 개체 연결(entity linking) 측면에서 구조적 결핍을 겪는다.

또한, 본 논문은 **파라메트릭-리트리벌 지연 비대칭성(Parametric-Retrieval Lag Asymmetry)**을 도입하여, 검색 증강 시스템(RAG)은 수일 내에 업데이트되는 반면, 파라메트릭 메모리(모델 가중치)는 12~24개월 동안 고정되어 있어 동일한 개체에 대해 서로 다른 표현을 생성한다는 점을 지적한다.

방법론

본 연구는 이러한 가설을 실증적으로 검증하기 위해 2단계 비교 설계를 채택한다.

개체 샘플: 두 개의 계층으로 나뉜 100개의 헝가리 B2B 개체:
- 계층 1 (고가시성, n=50): 상장 기업 및 글로벌 자회사 (예: OTP Bank, MOL Group).
- 계층 3 (저가시성, n=50): 국제적 존재감이 미미한 헝가리 중소기업(SME).
- 참고: 대비를 극대화하기 위해 계층 2는 제외되었다.
플랫폼: API를 통한 두 가지 파라메트릭 LLM: Anthropic Claude (claude-sonnet-4-6) 및 OpenAI GPT-4o (gpt-4o-2024-08-06). 파라메트릭 메모리 효과를 격리하기 위해 검색 증강 시스템은 주요 연구에서 제외하였다.
질의 도구: 각 개체에 대해 규제 준수(GDPR, EU AI Act), 증거 탐색(ISO, ESG), 사실적 인용을 포괄하는 7가지 헝가리어 인용 강제 쿼리 템플릿(QT01–QT07)을 사용하여 프로빙(probing)을 수행하였다.
데이터 수집: 2026년 5월 22일에 실시된 1,400회의 프로브 실행 (100개 개체 × 2개 플랫폼 × 7개 쿼리).
검증 프로토콜:
- 자동화: URL 존재 여부를 확인하기 위한 HTTP HEAD 요청 및 DOI 확인을 위한 Crossref API 조회. 상태 코드가 200이 아니거나 해결되지 않는 출처는 조작된 것으로 분류하였다.
- 인간 코딩: 조작된 URL과 오귀속된(도달은 가능하나 부정확한) 출처를 구분하기 위해 상호 코더 신뢰도(intercoder reliability)를 위한 계층화된 샘플(n=90)을 준비하였다.
통계 분석: 계층 간 차이에 대한 카이제곱 검정, 쿼리 클래스 비교를 위한 피셔의 정확 검정(Benjamini–Hochberg FDR 보정 적용), 그리고 인프라 존재에 따른 조작 예측을 위한 로지스틱 회귀 분석을 수행하였다.

주요 기여

본 논문은 개체 수준의 AI 감사를 위한 10차원 진단 프레임워크인 **개체별 편향 매핑(Per-Entity Bias Mapping, PEBM)**을 도입한다. 주요 개념적 및 실증적 기여는 다음과 같다:

고스트 카토그래피(Ghost Cartography): 모델이 희소한 잠재 영역을 인접한 밀집 영역의 확신에 찬 보간된 콘텐츠로 어떻게 채우는지 설명하는 통합 메커니즘.
2차원 작화 공간(Two-Dimensional Confabulation Space):
- 유형 3 (브랜드 환각 역설): 개체가 스키마 완성을 유발할 만큼 충분히 친숙하지만, 충분한 증거 밀도가 부족하여 발생하는 조작된 존재감.
- 유형 4 (파라메트릭-리트리벌 지연 비대칭성): 훈련 이후 변경된 개체에 대해 모델이 현재 시점의 출력을 생성하는 고정된 표현.
활성제로서의 규제 프레이밍(Regulatory Framing as an Activator): 규제 및 컴플라이언스 쿼리가 사실적 쿼리에 비해 조작률을 +15.5 ~ +19.2 퍼센트 포인트 상승시키는 체계적인 환각 활성제로 작용함을 확인하였다. 이는 다섯 가지 수렴하는 메커니즘(훈련 분포 패턴 활성화, n-gram 공출현, "존재해야 함" 추론, RLHF 유도 권위 압박, 유창성 루프)에 의해 발생한다.
거부 유도 작화 에스컬레이션(Rejection-Induced Confabulation Escalation): 프롬프트 체인에서 AI 응답을 반복적으로 거부하는 것이 조작 확률을 체계적으로 높인다는 이론적 모델을 제안한다. 이는 특이성을 개선하기 위해 설계된 에이전트 품질 필터가 컴플라이언스 맥락에서는 역설적으로 환각 가속기로 작용할 수 있음을 시사한다.
URL 형태론적 분류(URL Morphology Taxonomy): 946개의 조작된 출처를 분류하여, 50.5%가 "그럴듯한 신기루(Plausible Mirages)"(실제 도메인에서의 HTTP 404 오류)이며, 이 중 51.9%가 개체의 자체 도메인이 아닌 규제 기관 도메인(예: 헝가리 경쟁 또는 데이터 보호 당국)을 대상으로 함을 밝혀냈다.

실증 결과

본 연구는 브랜드 환각 역설과 CEE 개체 인프라 격차를 뒷받침하는 통계적 증거를 제공한다:

계층별 조작률: 고가시성(Tier 1) 개체는 저가시성(Tier 3) 개체(37.87%)보다 유의미하게 높은 조작 인용률(52.69%)을 보였다.
- 통계량: $\chi^2 = 45.326$ , $p = 1.67 \times 10^{-11}$ , Cohen's $h = 0.299$ .
- 해석: 친숙함이 확신에 찬 허위 귀속의 가능성을 높인다.
쿼리 클래스 효과: 규제 준수 쿼리는 사실적 베이스라인(37.59%)보다 유의미하게 높은 조작률(56.77%)을 기록했다.
- 통계량: FDR 보정 $q < 0.001$ .
플랫폼 차이: Anthropic Claude는 GPT-4o(0.13회/실행)보다 훨씬 높은 출처 인용 성향(1.34회/실행)을 보였으며, 결과적으로 Claude의 절대적 조작률(48.17%)이 GPT-4o(22.10%)보다 높았다. GPT-4o는 저가시성 개체에 대해 출처 제공을 거부하는 경우가 많았다.
인프라 영향: Tier 1 개체는 Tier 3 개체보다 오픈 지식 인프라(Wikipedia/Wikidata)에 존재할 확률이 약 7배 높았다 (OR = 6.77, $p = 0.0002$ $p = 0.0002$ ).
- 보호 효과: 영어 위키피디아 존재는 조작된 출처의 발생 오즈(odds)를 63% 감소시키는 것과 연관이 있었다 (OR = 0.37, $p < 0.001$ ). 헝가리어 위키피디아 존재는 LLM 훈련 코퍼스 내 낮은 대표성으로 인해 독립적인 보호 효과를 보이지 않았다.

의의 및 주장

본 논문은 AI 가시성이 "지도(map)" 메타포(정적인 위치 설정)에서 "장(field)" 메타포(증거 밀도에 기반한 동적 재구성)로 전환되어야 한다고 주장한다. 주요 의의는 다음과 같다:

가시성의 재정의: 가공의 언급은 긍정적 신호가 아니라 검증이 필요한 잠재적 위험 벡터임을 확립한다.
감사 방법론: 알고리즘 공정성 연구에서 조직 개체 감사로의 방법론적 가교를 제공하며, 플랫폼 평균이 아닌 개체를 캘리브레이션의 단위로 취급한다.
보안적 함의: 행위자가 모델 접근이나 프롬프트 인젝션 없이도 규제 프레이밍을 악용하여 신뢰할 만한 허위 인용을 생성할 수 있는 "수동적 적대적 증폭(passive adversarial amplification)"을 식별한다.
전략적 필요성: 조직은 생성형 시스템이 자신을 표현하는 방식을 직접 제어할 수는 없지만, 그 표현이 재구성되는 근거가 되는 "증거 장(evidence field)"(구조화된 데이터, 정형 식별자, 제3자 인용)을 변경할 수 있다.

본 논문은 개체별 캘리브레이션(존재와 충실도 구분) 없이는 조직들이 동일한 라벨 아래 서로 다른 현상을 측정하게 되어, 현재의 가시성 전략이 무력해질 위험이 있다고 결론짓는다.