LLMbench: A Comparative Close Reading Workbench for Large Language Models

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 의 비교 평가는 현재 주로 공학적 평가 (Engineering Evaluation) 전통에 의해 주도되고 있습니다. Google PAIR 의 'LLM Comparator'나 LMSYS Chatbot Arena 와 같은 기존 도구들은 양적 지표 (승률, 사용자 평점, Elo 순위 등) 와 요약된 메트릭에 초점을 맞추어 모델의 성능을 순위화하는 데 중점을 둡니다.

하지만 디지털 인문학 (Digital Humanities) 과 비판적 코드 연구 (Critical Code Studies) 의 관점에서는 LLM 이 생성한 텍스트를 고정된 객체가 아니라 확률 분포에서 추출된 결과물로 해석해야 합니다. 기존 도구들은 다음과 같은 한계가 있습니다:

• 생성된 텍스트가 '어떻게' 그리고 '왜' 그 단어로 선택되었는지에 대한 확률적 구조 (Probabilistic Structure) 를 시각화하거나 분석하지 못함.
• 텍스트가 "다른 단어였을 수도 있는" (could have been otherwise) 가능성, 즉 토큰 레벨의 불확실성과 대안적 경로를 연구 대상으로 삼지 못함.
• 인문학적 '밀독 (Close Reading)'과 해석학적 접근을 지원할 수 있는 환경이 부재함.

2. 방법론 및 도구 아키텍처 (Methodology & Architecture)

이 논문은 LLMbench라는 브라우저 기반 워크벤치를 소개하며, 이는 두 개의 LLM 응답을 나란히 비교하고 확률적 데이터를 시각화하여 해석학적 분석을 가능하게 합니다.

• 기술 스택: Next.js 16, React 19, Vercel AI SDK, CodeMirror 6 (코드 에디터 기반 렌더링), Tailwind CSS.
• 데이터 소스: Anthropic, OpenAI, Google, Hugging Face, OpenRouter 등 다양한 제공자의 API 를 통합하며, 특히 Log-probabilities (로그 확률) 데이터를 활용합니다.
• 핵심 철학: 생성된 텍스트를 확률 분포의 실현 (Realization) 으로 간주하고, 선택되지 않은 대안 토큰들의 분포를 함께 분석합니다.

주요 기능 및 모드

LLMbench 는 크게 비교 모드 (Compare Mode) 와 분석 모드 (Analyse Modes) 로 구성됩니다.

A. 비교 모드 (Compare Mode)
두 모델의 응답을 나란히 배치하고 4 가지 분석 오버레이를 제공합니다:

1. Probabilities (확률): 토큰 레벨의 로그 확률 데이터를 기반으로 한 연속 히트맵. 모델이 선택한 토큰의 확신이 낮을수록 (불확실할수록) 붉은색으로 표시하여 '포크 (Fork)' 지점이나 불확실한 구간을 시각화합니다.
2. Differences (차이): 두 응답 간의 단어 수준 차이를 하이라이트하며, 고유 단어 수를 계산합니다.
3. Tone (톤): Ken Hyland 의 메타담론 (Metadiscourse) 모델을 적용하여 'hedging (유보)', 'boosting (강조)', 'attitude markers (태도 표시)' 등 7 가지 범주로 텍스트의 수사적 입장을 분석합니다.
4. Structure (구조): 문장 단위로 텍스트를 분할하고 담론 연결어 (Discourse Connectives) 를 하이라이트하여 논리적 흐름을 파악합니다.

B. 분석 모드 (Analyse Modes)
모델의 행동을 실험적으로 탐구하는 5 가지 모드:

1. Stochastic Variation: 동일한 프롬프트를 여러 번 실행하여 출력의 변동성 (Stochasticity) 을 측정합니다.
2. Temperature Gradient: 샘플링 온도 (0.0 ~ 2.0) 를 변화시켜 무작위성이 출력의 다양성과 구조에 미치는 영향을 분석합니다.
3. Prompt Sensitivity: 프롬프트의 미세한 변경 (문장부호, 단어 추가 등) 이 출력에 미치는 민감도를 테스트합니다.
4. Token Probabilities: 단일 응답에 대한 심층 로그 확률 분석 (엔트로피 분포, 불확실성 핫스팟 등) 을 제공합니다.
5. Cross-Model Divergence: 두 모델 간의 Jaccard 유사도, 단어 중복률, 구조적 메트릭을 정량적으로 비교합니다.

C. 시각화 도구

• Sparklines: 토큰별 엔트로피 곡선.
• Pixel Maps: 전체 응답을 픽셀 그리드로 압축하여 불확실성의 분포를 한눈에 파악.
• 3D Probability Terrains: 엔트로피를 높이로 표현한 3D 지형도.

3. 주요 결과 및 사례 (Key Results & Findings)

논문의 사례 연구 (Italo Calvino 의 'Cybernetics and Ghosts'에 대한 Gemini 2.0 Flash 와 GPT-4o 비교) 를 통해 다음과 같은 통찰을 도출했습니다:

• 토큰 레벨의 불일치: 두 모델이 동일한 프롬프트에 대해 응답할 때, 동일한 순번 (예: 26 번째 토큰) 이더라도 의미적/구문론적 위치가 다를 수 있음.
• 확률 분포의 차이:
  • Gemini 2.0 Flash: 26 번째 토큰에서 엔트로피가 높음 (2.315 bits), 선택 확률이 낮음 (11.76%). 이는 모델이 여러 대안 ('the', 'through', 'in' 등) 사이에서 고민했음을 의미하며, 선택된 단어가 문장의 방향을 결정하는 중요한 '포크' 지점임을 보여줌.
  • GPT-4o: 같은 위치에서 엔트로피가 상대적으로 낮음 (1.567 bits), 선택 확률이 높음 (49.27%). 모델이 더 확신 있는 선택을 했음을 시사.
• 수사적 차이: Tone 분석을 통해 두 모델이 동일한 주제에 대해 다른 수사적 태도 (유보적 vs 단정적) 를 취함을 정량적으로 확인 가능.
• 변이성 (Variation): 동일한 모델이라도 온도 설정이나 프롬프트 미세 변경에 따라 출력이 크게 달라질 수 있음을 실험적으로 증명.

4. 주요 기여 (Key Contributions)

1. 새로운 해석학적 도구: LLM 출력물을 단순한 텍스트가 아닌 확률적 객체 (Probabilistic Object) 로서 분석할 수 있는 최초의 워크벤치 중 하나를 제시.
2. 로그 확률 (Log-prob) 의 인문학적 활용: 기술적 데이터인 로그 확률을 인문학적 밀독 (Close Reading) 에 활용 가능한 시각적 인터페이스로 변환하여, 모델의 '선택되지 않은 경로'를 가시화함.
3. 비교적 해석학 (Comparative AI Hermeneutics): 두 모델 간의 비교를 단순한 성능 대결이 아닌, 두 개의 확률 분포 간의 비교로 확장하여 불확실성의 형태와 구조적 차이를 분석하는 방법론을 정립.
4. 오픈 소스 및 접근성: MIT 라이선스로 공개되어 있으며, 연구자들이 직접 모델의 내부 작동 원리를 탐구하고 비판할 수 있는 인프라를 제공.

5. 의의 및 한계 (Significance & Limitations)

의의:

• LLM 에 대한 비판적 연구 (Critical Studies of AI) 에 있어 정량적 지표에 의존하지 않는 질적 분석의 새로운 장을 열었습니다.
• 텍스트의 의미가 모델의 '확신'과 '불확실성'이 교차하는 지점에 있음을 보여주며, 생성형 AI 의 블랙박스 성격을 부분적으로 해명합니다.
• 디지털 인문학의 전통 (Voyant Tools 등) 을 LLM 시대에 맞게 진화시켜, 고정된 텍스트가 아닌 '변동하는 텍스트'를 분석하는 패러다임을 제시합니다.

한계:

• 데이터 접근성: 모든 모델 제공자가 토큰 레벨의 로그 확률 데이터를 API 를 통해 공개하는 것은 아닙니다 (예: Anthropic Claude 는 공개 API 에서 미제공). 이는 확률 분석의 범위를 제한합니다.
• 토큰화 차이: 모델 간 토큰화 방식이 달라, 순번이 같더라도 실제 의미 단위 (Word/Token) 가 다를 수 있어 비교 시 주의가 필요합니다.
• 해석의 주체성: 도구는 확률 분포를 '보여줄' 뿐, 그 불확실성이 의미적으로 무엇을 뜻하는지 해석하는 것은 여전히 연구자의 몫입니다.
• 메타담론 프레임워크의 적용: Hyland 의 메타담론 모델은 학술적 글쓰기를 위해 개발된 것으로, LLM 의 특수한 어조 (예: "AI 언어 모델로서") 를 완전히 포착하지 못할 수 있습니다.

결론

LLMbench 는 생성형 AI 모델의 출력을 단순히 평가하는 것을 넘어, 그 이면에 숨겨진 확률적 역사 (Counterfactual History) 를 읽어내는 비판적 도구입니다. 이는 AI 연구가 공학적 성능 최적화를 넘어, 텍스트 생성의 메커니즘과 그 의미에 대한 인문학적 성찰로 나아가야 함을 시사합니다.