기술 요약: 모델은 당신의 프로젝트를 알지만, 당신은 모른다: NameRank을 통한 LLM의 인지도 측정

1. 문제 정의

프런티어 대규모 언어 모델(LLM)은 점차 사람과 그들의 업적에 대한 인간의 호기심을 충족시키는 주요 인터페이스 역할을 하고 있다. 검색 증강 생성(RAG)이 수행되기 전, 모델의 파라미터 메모리(parametric memory)는 사용자가 일관된 요약을 받을지, 아니면 환각(hallucination)이나 '알 수 없음' 응답을 받을지를 결정한다. 그러나 기존의 지표들은 이러한 "코퍼스 존재감(corpus presence)"을 효과적으로 측정하지 못한다.

서지 지표(예: 인용 횟수, h-index)는 모델이 연구자를 인식하는지 여부에 대한 분산(variance)의 약 1/3만을 설명한다. 나머지 분산은 이름의 고유성, 명명된 산출물(named artifacts)과의 결합, 하위 분야 생태계 밀도와 같은 메커즘에 의해 발생하지만, 이를 통일된 척도로 정량화한 사례는 없었다. 또한, 전통적인 벤치마크는 인지도(recognition)를 도달 범위(reach)와 혼동하거나, 진정한 지식과 유창한 환각을 구분하지 못하는 경우가 많다. 본 논문은 인지도가 자격(credentials)이나 직함(titles)의 함수가 아니라, 특정 이름이 하나의 구별되고 색인 가능한 엔티티로서 프런티어 모델의 학습 가중치 속으로 전파되었는지 여부라고 상정한다.

2. 방법론: NameRank

저자들은 임의로 추출된 프런티어 모델이 특정 엔티티를 실제로 알고 있을 확률을 측정하기 위해 설계된 교차 도메인 인지도 측정 도구인 NameRank를 소개한다.

2.1 패널 및 프로브(Probes)

• 패널: OpenRouter 및 직접 API를 통해 접근 가능한 서구권 및 중국 벤더를 포함한(추론 가능 모델 포함) 36개의 프런티어 및 준-프런티어 모델.
• 엔티티: 자격 요건을 갖춘 개인(올림피아드 메달리스트, 펠로우), 현직 학자, 산업계 인물, 오픈 소스 유지 관리자, 그리고 명명된 산출물(도구, 방법론, 데이터셋)을 포함한 54개 코호트의 4,685개 엔티티.
• 프로브 설계: 각 엔티티에 대해 고정된 개방형 프롬프트를 사용한다: "[이름]에 대해 알고 있는 것을 말해줘. 이 사람은 [컨텍스트]이다. 만약 이 엔티티를 인식하지 못한다면 'unknown'이라고 답해라. 응답은 약 150단어 내외로 제한한다."
  • 컨텍스트는 이름을 구별하기 위해 역할, 소속, 분야를 제공하되, 구체적인 기여도나 '정답(gold)'을 드러내지 않는다.
  • 개방형 프로빙은 모델이 사실 X는 알지만 사실 Y는 모를 경우 점수가 0점이 되는 폐쇄형 팩토이드(factoid) 프로브의 실패 모드를 방지한다.

2.2 인지도 판정

독립적인 LLM 판사(Gemini 3 Flash Preview)가 큐레이션된 **정답(Gold Answer)**에 근거하여 각 응답을 평가한다.

• 이진 판정: 판사는 다음 조건을 만족하는 구체적이고, 추측 불가능하며, 올바른 사실을 응답이 포함하고 있을 때만 1(인식됨)을 반환한다:
  1. 정답 또는 판사의 신뢰할 수 있는 지식과 검증되어야 함.
  2. 프로브의 컨텍스트로부터 유도될 수 없는 내용이어야 함.
  3. 컨텍스트의 재진술이나 일반적인 전기(biography)가 아니어야 함.
• 페널티: 유창한 환각, 컨텍스트 에코(context echo), 운 좋은 추측, 거절은 0점을 받는다.
• 점수 산정: 엔티티의 NameRank 점수는 36개 모델 중 1을 반환한 비율인 가중치 없는 패널 인지도율이다.

2.3 보정 및 검증

• 합성-널 바닥(Synthetic-Null Floor): 존재하지 않는 가공의 연구자, 창업자 등을 프로빙하여 베이스라인을 설정한다. 이러한 엔티티는 0에 가까운 점수(≤0.02)를 기록하며, 이는 0이 아닌 점수가 단순한 추측의 결과가 아니라 실제 인식을 나타냄을 확인시켜 준다.
• 분산 분해: 엔티티 요인은 판정의 분산 중 56%를 설명하는 반면, 모델 요인은 9%만을 설명한다. 이는 점수가 모델 특유의 기벽이 아니라 엔티티의 코퍼스 내 존재감을 측정함을 나타낸다.
• 강건성 체크: 연구는 문구 변형, 모델 버전, 판사 모델군, 언어(영어 vs 중국어 프롬프트)에 따른 결과의 안정성을 검증하여, 절대적인 수준은 변할 수 있어도 순위는 안정적임을 보여준다.

3. 주요 결과

3.1 "산출물 우선(Artifact-Over-Creator)" 메커니즘

핵심 논지는 인지도는 자격, 직함, 혹은 도달 범위가 아니라, 명명되고 색인 가능한 산출물에 부여된다는 것이다.

• 자격 vs 산출물: "올림피아드 스타일"의 자격(IMO, IOI, Putnam, Rhodes)은 현직 연구자(예: IMO 금메달: ~0.12 vs 현직 연구자: ~0.40)보다 베이스라인 이하의 점수를 기록한다. 이러한 자격은 이후의 명명된 생산물(논문, 도구)과 결합될 때만 이름을 전파한다.
• 명명된 산출물: 명명된 방법론(예: ReAct, DPO), 오픈 소스 프로젝트(예: LangChain, Tianshou), 기업 등은 종종 그 창립자보다 높은 순위를 차지한다. 예를 들어, 도구인 Perplexity(0.89)는 창립자인 Aravind Srinivas(0.75)보다 높고, Srinivas는 다시 세 번의 IOI 금메달리스트인 공동 창립자 Johnny Ho(0.28)보다 높은 점수를 기록한다.
• 역전 현 현상: 산출물의 이름이 창립자의 이름보다 코퍼스 내에서 더 멀리 여행한다. 이는 프롬프트 개입으로 만들어낼 수 있는 것이 아니라, 색인 가능한 텍스트 내에서의 속성 귀속(attribution) 비대칭성에 의한 관찰된 특성이다.

s.2 인지도의 예측 인자

• 서지 지표: 어떤 서지 지표(h-index, 원시 인용 수)도 인지도를 잘 예측하지 못한다. 가장 좋은 상관관계조차 분산의 약 22%만을 설명한다.
• 코퍼스 밀도: 인지도는 기관 및 국가의 "코퍼스 밀도"와 강한 상관관계를 가진다. 고밀도 기관(MIT, Berkeley)의 연구자들은 동일한 인용 수준을 가진 저밀도 기관의 동료들보다 높은 점수를 받는다. 마찬가지로, 미국 기반 연구자들은 연구 성과 자체보다는 영어 중심 생태계(뉴스레터, 팟캐스트, 튜토리얼)의 밀도에 힘입어 중국이나 인도 연구자보다 유의미하게 높은 점수를 기록한다.
• 뉴스 이벤트: 뉴스 이벤트의 경우, 인지도는 지속성(얼마나 오래 지속되는가)보다는 **정점의 현저성(peak salience, 얼마나 화제가 되었는가)**을 추적한다. 높은 정점의 관심은 더 많은 이름이 담긴 문서를 생성하며, 이것이 인지도를 견인한다.

3.3 모델 자기 보고 vs 현실

모델에게 엔티티에 대한 인지도를 자기 보고하도록 요청했을 때, 그 순위는 자신의 검증된 지식이 아니라 **공유된 코퍼스 사전 지식(shared corpus prior, 일반적인 유명세)**과 상관관계를 보였다. 모델은 자신의 특정 가중치를 내성(introspection)하는 것이 아니라 합의된 명성을 읊는 것이다.

4. 기여

1. 교차 도서 도구: NameRank은 연구자, 창립자, OSS 저자, 명명된 산출물을 하나의 [0, 1] 인지도 축 위에 배치하며, 합성-널 바닥에 의해 보정된다.
2. 경력 궤적 분석: 자격은 명명된 산출물을 수반할 때만 이름을 전파한다는 것을 입증한다. 최우수 논문상 및 명명된 방법론 저술은 연구자 평균보다 높은 점수를 받지만, 순수한 메달은 그렇지 않다.
3. 명명된 산출물 메커니즘: 산출물이 종종 제작자보다 높은 순위를 차지하며, 이러한 역전이 프롬프트의 결과가 아니라 코퍼스 귀속의 관찰된 특성임을 실증적으로 확립한다.
4. 예측의 한계: 서지 지표는 LLM 인지도를 예측하기에 부적절하며, 코퍼스 밀도(기관/국가)와 정점의 현저성(이벤트의 경우)이 더 강력한 동인임을 보여준다.
5. 검증 배터리: 연구는 자기 보고 프로브 및 교차 언어 체크를 포함한 엄격한 검증 suite를 제공하며 모든 데이터, 프로브, 코드를 공개한다.

5. 의의 및 주장

본 논문은 NameRank이 서지 지표가 놓치는 인지도의 잔여물(residual), 즉 엔티티의 이름이 프런티어 모델에 의해 구별되고 색인 가능한 사실로서 얼마나 내부화되었는지를 측정한다고 주장한다.

• 측정의 전환: 인간의 호기av가 모델을 통해 경로화됨에 따라, 이름의 "존재감"이 모델 가중치 속에 존재하는 것은 실질적인 측정 문제가 된다. NameRank은 이를 정량화한다.
• 구조적 불평등: 이 도구는 이름 전파의 구조적 불평등을 드러낸다. 동일한 연구 성과라도 연구자의 생태계(예: 미국 vs 중국/인도)의 영어 코퍼스 밀도에 따라 다르게 전파된다.
• 실무적 시사점: LLM 시대에 인지도를 얻고자 하는 개인에게 전략은 단순히 자격이나 인용을 쌓는 것이 아니라, **구별되고 명명된, 색인 가능한 산출물(도구, 방법론, 논문)**을 생산하는 것이다. 인지도는 현재의 관심이나 순수한 지적 선택력의 척도가 아니라, 이름이 담긴 텍스트의 누적된 장부이다.
• 한계: 논문은 절대적인 수준이 문구에 따라 달라질 수 있으며, 지표가 훈련 코퍼스와 판사의 인구통계적 편향을 상속받는다는 점을 솔직하게 언급한다. 이는 모델이 흡수한 것을 측정하는 것이지, 엔티티의 "진리"나 "가치"를 측정하는 것이 아니다.

요약하자면, 본 논문은 LLM이 매개하는 체제에서 모델은 당신의 프로젝트를 알지만, 당신은 모른다고 주장한다. 인지도는 자격의 속성이 아니라, 명명된 산출물의 속성이다.