기술 요약: LLM 도구 레지스트리의 에이전트 지향 정보 설계

1. 문제 정의

본 논문은 대규모 언어 모델 (LLM) 도구 레지스트리 (예: PulseMCP, Composio) 의 신흥 생태계에서 중요한 격차를 식별합니다. 이러한 레지스트리는 도구 제공업체가 자유 텍스트 설명을 통해 에이전트 가시성을 확보하기 위해 경쟁하는 사실상의 광고 플랫폼으로 기능합니다. 20 년간 측정 인프라 (가시성 표준, 품질 점수) 를 구축한 디지털 광고 산업과 달리, 에이전트 도구 생태계에는 책임성 메커니즘이 전혀 부재합니다.

핵심 문제는 정보 비대칭입니다. 검증된 품질 신호가 부재한 상태에서 에이전트는 능력의 대리 지표로서 설명의 풍부함에 의존합니다. 이는 제공업체가 에이전트 선택을 조작하기 위해 설명을 전략적으로 구성하는 '생성 엔진 최적화 (GEO)' 시장을 창출합니다. 본 논문은 인간 대상 광고에서 효과적인 표준 규제 메커니즘 (공개 라벨, 경고) 이 에이전트 환경으로 이전될 수 있는지 조사하고, 시장 효율성을 회복하기 위한 레지스트리의 구조적 재설계를 제안합니다.

2. 방법론

본 연구는 5 개의 LLM(DeepSeek-V3, o4-mini, GPT-5.4-mini, GPT-5.4-nano, Claude Sonnet 4.6, GPT-4o) 과 10 개의 합성 작업 도메인 (예: 웹 검색, 전자상거래, 코드 실행) 에 걸쳐 17,700 회 이상의 시험을 결합한 체계적인 실험 프레임워크를 활용합니다.

실험 설계

• 작업: 에이전트가 설명 구성만 다른 기능적으로 동일한 두 도구 중 정확히 하나를 호출해야 하는 2 대 1 강제 선택 과제.
• 지표: **선택 편향 계수 (SBC)**로 정의되며, $P(\text{선택된 최적화 도구}) - 0.5$입니다. SBC 가 0 인 경우 무작위 선택을, +0.5 인 경우 최적화된 도구를 완벽하게 선택함을 의미합니다.
• 구성 수준 (L0–L4): 설명은 중립적 기능 명세 (L0) 에서 사회적 증거, 최상급 표현, 권위 구성, 결과 구성을 포함한 상업적으로 최적화된 버전 (L4) 까지 다양합니다.
• 공개 개입: 편향을 완화하기 위해 테스트된 4 가지 조건:
  1. 기준선 (개입 없음).
  2. 설명에 [SPONSORED] 라벨 추가.
  3. 별점 (예: "3/5 별 - 상업적 파트너").
  4. 시스템 프롬프트 경고 (일반적 투명성 의무화).
• 생태학적 타당성: 실험 C 는 합성 결과를 검증하기 위해 라이브 MCP 레지스트리 (예: Brave Search 대 DuckDuckGo) 의 실제 설명을 그대로 사용했습니다.
• 법적 경계 분석: 실험 E4 는 선택 편향의 원인을 규명하기 위해 "법적 과장 (FTC 허용 최상급 표현)"과 "조작된 주장"을 분리했습니다.

3. 주요 기여

A. 레지스트리 설계 처방 (주요 기여)

본 논문은 설명을 두 가지 명확한 계층으로 구조화하여 분리할 것을 제안합니다:

1. 선택 지향 설명: 구조화되고 레지스트리가 통제하며 모든 평가적 언어가 제거된 내용. 이 계층은 에이전트 선택에 exclusively 사용됩니다.
2. 마케팅 지향 설명: 제공업체가 작성하며 모든 설득적 문구를 포함하며, 선택 후 인간 사용자에게만 표시됩니다.
   이 아키텍처는 명제 3에 기반하여 특정 LLM 모델과 무관하게 (문구가 아닌 기능에 기반한 도구 선택을 통해) "최적의 후생 (first-best welfare)"을 달성합니다.

B. 에이전트 주의 품질 점수 (AAQS)

저자들은 설명에 의한 선택과 진정한 능력을 구분하기 위해 AAQS 를 도입합니다:
$$AAQS_i(q) = P(\text{선택}_i | q) \times C_i(q)$$
여기서 $C_i(q)$는 능력 일치 점수입니다. 선택 확률에 비해 낮은 AAQS 는 도구가 "설명 최적화에 의존하고 있음" (클릭베이트의 에이전트 버전) 을 나타냅니다.

C. 전략적 균형 분석

게임 이론적 모델 (명제 1–3) 을 사용하여 본 논문은 인센티브 구조를 죄수의 딜레마로 공식화합니다. 개입이 없으면 내시 균형은 모든 제공업체가 설명을 최적화하는 것이 되어, 설명을 무의미하게 만들고 "설명 군비 경쟁"에 자원을 낭비하게 됩니다. 이 모델은 공개 메커니즘이 이 균형을 깨뜨리지 못하므로 정규화가 필요 (단순히 충분 조건이 아님) 함을 증명합니다.

4. 실증 결과

4.1. 최적화 효과

• 총 트래픽 확보: 소비자 도메인 (웹 검색, 전자상거래) 에서 5 개 모델 중 4 개는 공개가 없을 때 최적화된 도구를 $P=1.0$으로 선택했습니다 (SBC = +0.456).
• 주도적 특징: 최상급 표현 (예: "가장 빠른", "가장 정확한") 은 사회적 증거 (+0.12) 와 권위 구성 (+0.21) 을 능가하는 단일 가장 강력한 특징입니다 (SBC = +0.35).
• 용량 - 반응 관계: 선택 이점은 앞쪽에 집중되어 있습니다. 중립 (L0) 에서 단일 신뢰 신호 (L1) 로의 도약이 달성 가능한 상승분 (+0.33) 의 대부분을 차지합니다. 추가적인 수사적 층위는 체감하거나 부정적인 수익을 낳습니다.

4.2. 공개 메커니즘의 실패

공개 개입은 다음과 같은 고유한 이유로 구조적으로 실패했습니다:

• 천장 관성: $P \approx 1.0$에 이미 도달한 모델의 경우, [SPONSORED]와 같은 라벨은 미미한 효과만 있었습니다 (예: DeepSeek 는 고작 -3 퍼센트 포인트 하락만 보임).
• 구조적 맹점: 시스템 프롬프트 경고는 5 개 모델 중 4 개에서 측정 가능한 효과가 전혀 없었습니다; 경고가 함수 호출 선택 논리로 전파되지 않았습니다.
• 과도 교정: Claude Sonnet 은 [SPONSORED] 라벨을 자격 박탈 요인으로 간주하여 라벨이 붙은 도구를 무작위 수준 이하로 처벌했습니다 (SBC $\to$ -0.155).

4.3. 법적 과장과 조작

• 법적 과장이 효과의 100% 를 차지함: FTC 허용 과장 (주관적 최상급 표현, 혜택 구성) 만으로도 완전한 최적화 효과를 발생시켰습니다 (SBC = +0.33).
• 조작된 주장은 0 을 추가함: 조작된 통계나 추천을 추가해도 추가 편향은 전혀 발생하지 않았습니다. 따라서 조작된 주장에 대한 기만적 광고 규칙의 FTC 집행은 에이전트 선택에 거의 영향을 미치지 않을 것입니다. 왜냐하면 활성 메커니즘은 헌법적으로 보호받는 과장이기 때문입니다.

4.4. 생태학적 증거

라이브 레지스트리 설명 (예: Brave Search 대 DuckDuckGo) 을 사용한 예비 테스트는 합성 패턴을 확인했으며, SBC 값은 +0.30 에서 +0.46 사이였으며, 이 현상이 합성 데이터의 인공물이 아님을 시사합니다.

5. 중요성과 주장

본 논문은 문제가 에이전트의 "비합리성"이 아니라 결함 있는 정보 환경이라고 주장합니다. 검증된 품질 신호가 없는 레지스트리에서 설명의 풍부함은 능력에 대한 유일한 이용 가능한 대리 지표이므로, 에이전트가 상업적 구성에 합리적으로 반응하게 됩니다.

• 규제적 함의: 현재의 규제 접근 방식 (공개) 은 에이전트 선택에 대해 구조적으로 비효율적입니다. 해결책은 더 나은 에이전트 정렬이 아닌 **메커니즘 설계 (레지스트리 정규화)**를 요구합니다.
• 경제적 영향: 최적화된 제공업체는 트래픽의 약 83% 를 차지합니다 (공정한 분배인 50% 대비). 이는 제공업체에게는 거대하고 모니터링되지 않은 차익 거래 기회를, 사용자에게는 후생 손실을 초래합니다.
• 설계 전환: 본 논문은 레지스트리가 선택을 위한 "광고 플랫폼"에서 "구조화된 데이터 저장소"로 진화해야 하며, 마케팅 문구는 선택 후 인간 소비를 위해 유보해야 한다고 결론지었습니다. 이러한 전환은 편향을 제거하고 사회적 낭비 (군비 경쟁) 를 줄이며, 에이전트가 중립적 산문보다 구조화된 형식을 선호한다는 점 (정신 건강 검사에서 확인됨) 과 에이전트 선호도를 일치시킵니다.

저자들은 에이전트 지향 정보 설계에 대한 향후 연구를 지원하기 위해 벤치마크 및 분석 코드를 공개하며, 구조적 개입 없이는 도구 선택 시장이 책임 없고 비효율적으로 남을 것이라고 강조합니다.