기술 요약: 존재하지 않는 기술: LLM 에이전트의 환각된 기술 추천에 관한 대규모 연구

문제 정의: 기술 이름 환각 (Skill Name Hallucination)

본 논문은 새롭게 부상하는 LLM 에이전트 생태계, 특히 "에이전트 기술(Agent Skills)" 프레임워크(2025년 말 Anthropic에 의해 표준화됨) 내의 치명적인 취약점을 식별한다. 개발자들은 기술 레지스트리를 수동으로 탐색하는 대신, 자연어 지침의 묶음(SKILL.md 파일로 저장됨)인 '기술'을 추천하고 설치하도록 에이전트에 점점 더 의존하고 있다.

핵심 문제는 **기술 이름 환각(skill name hallucination)**이다. 이는 에이전트가 존재하지 않는 기술 이름을 확신을 가지고 추천하는 현상을 말한다. 존재하지 않는 함수를 만들어내는 일반적인 코드 생성 환각과 달리, 이 결함은 특정한 공급망 공격 벡터를 생성한다. 레지스트리에 엄격한 발행자 검증이 부족하다는 점을 이용하면 공격자는 다음과 같이 행동할 수 있다:

1. 공개 에이전트를 쿼리하여 반복적으로 나타나는 환각된 이름을 식별한다.
2. 공격자는 해당 이름과 정확히 일치하는 악성 기술을 개방형 레지스트리에 사전 등록한다.
3. 피해자가 에이전트에게 추천을 요청할 때까지 기다린다.
4. 이전에 동일한 이름을 환각했던 에이전트는 해당 악성 기술을 추천하게 되고, 사용자는 이를 설치하게 된다.

이 공격은 전통적인 방어 체계를 우회한다. 왜냐하면 이름이 실제 패키지의 오타가 아니므로(타이포스쿼팅 필터에 포착되지 않음) 탐지가 불가능하며, 페이로드가 실행 가능한 코드가 아닌 자연어 지침 속에 숨겨져 있기 때문이다.

방법론

저자들은 15,000개의 프롬프트와 12개의 시스템 구성(4개의 독립형 LLM 및 8개의 에이전트 구성)을 사용하는 3단계 파이프라인을 통해 이 현상을 최초로 대규모 측정하였다.

1. 프롬프트 구성

데이터셋은 환각의 원인을 격리하기 위해 두 가지 뚜렷한 프롬프트 유형으로 구성되었다:

• 커뮤니티 프롬프트 (5,000개): 기술 추천과 관련된 Stack Exchange, Reddit, Hacker News에서 스크래핑한 실제 질문들이다. 이는 적절한 기술이 존재하지 않을 수 있는 비구조화된 실제 환경에서의 환각률을 측정한다.
• 기술 설명 프로ンプ트 (10,000개): SkillsMP 레지스트리에 게시된 10,000개의 실제 기술 설명을 바탕으로 생성되었다. 모든 프롬프트에 대해 정답이 존재하는 것으로 알려져 있으므로, 여기서 발생하는 환각은 옵션의 부재가 아니라 기존 지식의 인출 실패를 의미한다.

2. 평가 구성

연구는 다음을 평가하였다:

• 독립형 LLM: GLM-4.5-Air, GPT-5.4-mini, Claude Sonnet 4.6, Claude Opus 4.7.
• 에이전트: Claude Code, Codex, OpenClaw, OpenCode (GPT-5.4-mini 및 4개의 오픈 소스 모델을 포함한 다양한 백엔드 사용).
• 그라운딩(Grounding): 대부분의 구성에는 외부 검증이 문제를 완화하는지 테스트하기 위해 웹 검색 도구가 탑재되었다.

3. 검증 파이프라인

절대적인 정확성을 보장하기 위해, 추천된 이름이 모든 라이브 레지스트리(SkillsMP, ClawHub 등)에서 누락되었고, 동시에 모든 오픈 소스 저장소(GitHub Code Search를 통해 SKILL.md 파일 존재 여부 확인)에도 존재하지 않는 경우에만 환각된 것으로 분류하였다.

주요 기여

1. 새로운 공격 벡터 식별: 본 논문은 공격자가 예측 가능한 LLM 환각을 악용하여 악성 기술을 사전 등록하는 "기술 이름 스쿼팅(skill name squatting)"을 공식화한다.
2. 대규모 측정: 15,000개의 프롬프트를 체계적으로 평가하여 환각이 테스트된 모든 모델과 에이전트에서 보편적으로 발생함을 밝혔다.
3. 타겟 가능성 분석: 환각된 이름이 무작위 노이즈가 아니라 예측 가능한 패턴을 따른다는 것을 입증하여, 공격자가 최소한의 노력으로 높은 커버리지를 달-성할 수 있음을 보여주었다.
4. 방어 평가: 네 가지 완화 전략(RAG, 자기 정제, 교차 모델 투표 및 이들의 조합)을 엄격하게 평가하여 보안과 유용성 사이의 심각한 트레이드오프를 강조하였다.

주요 결과

1. 보편성 (RQ1)

• 편재성: 모든 구성에서 환각이 발생했다.
• 비율: 독립형 LLM의 평균 환각률은 36.0%, 에이전트는 **36.9%**였다.
• 실제 영향: 실제 개발자 질문(커뮤니티 프롬프트)의 경우 환각률은 **43.1%**까지 상승했다.
• 검색의 무효성: 웹 검색을 활성화해도 문제가 해결되지 않았다. 모델들은 종종 개념(예: "file-system-operations")을 검색하고 관련 결과를 찾아내어 개념 자체는 존재함을 확인하지만, 특정 기술 이름의 등록 상태를 검증하는 데는 실패했다.
• 보수적 출력: 일부 모델(예: GPT-5.4-mini)은 낮은 환각률(6.5%)을 기록했는데, 이는 정확한 기술을 식별했기 때문이 아니라 52.5%의 프롬프트에 대해 출력을 하지 않는 것으로 대응했기 때문이다.

2. 타겟 가능성 (RQ2)

• 결정론적 특성: 환각된 이름은 매우 지속적이다. 예를 들어, Claude Sonnet 4.6은 동일한 프롬프트에 대해 지배적인 환각 이름을 10번 중 7.8번 반복했다.
• 수렴 현ality: 서로 다른 모델들이 종종 동일한 환한된 이름을 생성한다(예: 6개의 모델이 classification-model-builder를 생성함).
• 생태계 간 중복: 고유한 환각 기술 이름의 15.0%(851개)가 기존 PyPI 또는 npm 패키지와 정확히 일치했다. 이는 모델들이 익숙한 패키지 식별자를 기술 이름으로 재사용하고 있음을 나타낸다.
• 공격 효율성: 가장 빈번하게 발생하는 상위 500개의 환각 이름을 등록하는 것만으로도 테스트된 구성 전반에서 발생하는 모든 환각 추천 이벤트의 **57%**를 커버할 수 있다.

3. 탐지 가능성 (RQ3)

• 자기 감사 실패: 기술 이름의 존재 여부를 확인하라는 요청을 받았을 때, 모델들은 무작위 추측(균형 정확도 51%)보다 나은 성능을 보이지 못했다. 모델들은 거의 모든 것을 거부하거나(높은 위음성), 자신의 환각과 실제 기술을 구분하지 못하는 경동을 보였다.
• 타이포스쿼팅의 무효성: 환각된 이름은 단순한 오타가 아니다. 환각된 이름과 가장 가까운 실제 기술 사이의 중앙값 레벤슈타인 편집 거리(Levenshtein edit distance)는 6이었다. 1~2 정도의 편집 거리를 체크하는 전통적인 필터로는 환각의 **56.1%**를 놓치게 된다.

4. 완화 (RQ4)

• 검색 증강 생성 (RAG): 가장 효과적인 방어책이었으며, 환각률을 40.8%에서 3.2%로 낮추었다. 그러나 이는 유용성을 심각하게 훼손했다. 최선의 방어를 갖춘 에이전트도 올바른 기술을 추천하는 비율은 약 16%(6번에 1번)에 불과했다.
• 자기 정제 (Self-Refinement): 효과가 없었다. 이는 이름을 신뢰성 있게 검증하기보다는 출력을 억제하여 "출력 없음" 비율을 높이는(87.4%) 방식으로만 환각을 줄였다.
• 교차 모델 투표 (Cross-Model Voting): 여러 모델의 합의를 요구하는 방식은 환각을 92.8% 제거했지만(N=2 기준), 실제 기술의 55.2%도 함께 폐기했다.

의의 및 주장

본 논문은 기술 이름 환각이 프롬프트 엔지니어링이나 모델 튜닝만으로는 해결할 수 없는, 현재 LLM 에이전트 아키텍처의 구조적 취약점이라고 주장한다.

• 위협의 실재성과 저비용: 공격자는 기존 기술을 해킹할 필요 없이, 단순히 예측 가능한 환각된 이름을 수집하여 사전 등록하기만 하면 된다.
• 현재의 방어 체계 실패: 패키지 검증, 코드 서명과 같은 기존의 공급망 보호 조치나 프롬프트 인젝션 필터와 같은 런타임 방어는 효과가 없다. 왜냐, 공격 벡터가 추천 단계에 있으며 페이로드가 자연어이기 때문이다.
• 트레이드오프: 보안과 사용성 사이에는 심각한 갈등이 존재한다. 유일하게 효과적인 기술적 완화책인 RAG는 에이전트가 데이터베이스에서 검색할 수 없는 기술을 추천하는 것을 방지함으로써 에이전트의 유용성을 크게 떨어뜨린다.
• 필요한 해결책: 저자들은 이를 해결하기 위해 생태계 전반의 구조적 변화가 필요하다고 결론짓는다. 구체적으로는 다음과 같다:
  1. 알려진 환각 패턴에 대한 레지스트리 수준의 이름 예약.
  2. 에이전트가 내부 가중치로부터 이름을 생성하는 대신, 인증된 인덱스를 통해 이름을 반드시 확인해야 하는 검증된 추천 파이프라인.

이 연구는 이러한 구조적 변화 없이는 에이전트 기술 공급망이 "환각" 자체가 무기화된 진입점이 되는 공급망 공격에 무방비로 노출될 것임을 강조한다.