기술 요약: TokenScope

문제 정의

코드 생성 과정에서 대규모 언어 모델(LLM)의 의사결정 과정을 이해하는 것은 여전히 중요한 과제로 남아 있습니다. 기존의 해석 가능성 도구들은 모델 내부 구조에 대한 통찰이나 사후 평가(post-hoc evaluation)를 제공하지만, 다음과 같은 결정적인 한계를 가집니다:

• 디코딩 시점 신호의 부재: 이들은 생성 과정 중 실시간 불확실성 척도, 대안 토큰 후보, 또는 결정 마진(decision margins)을 거의 노출하지 않습니다.
• 입도(Granularity) 문제: 생성을 개별적인 토큰 수준의 상호 의존적 결정들의 시퀀스로 보기보다는 단일한 결과로 취급하는 경우가 많습니다.
• 코드 구조와의 단절: 내부 모델 신호(예: 어텐션)를 코드의 구조적 의미론(예: 추상 구문 트리, AST)과 정렬하는 메커니즘이 부족합니다.
• 정적 특성: 대부분의 도구는 오프라인 분석과 상당한 전문 지식을 요구하므로, 반사실적(counterfactual) 상황이나 실패 모드에 대한 대화형 탐색을 방해합니다.

결과적으로 연구자와 실무자들은 어디에서 불확실성이 발생하는지, 시간이 흐름에 따라 어텐션이 어떻게 변화하는지, 그리고 로컬 토큰 수준의 결정이 생성된 코드의 구조적 오류로 어떻게 전파되는지를 체계적으로 조사할 수 있는 인프라가 부족한 실정입니다.

방법론

저자들은 코드 중심 작업에 특화된 디코코더 기반 LLM을 위해 설계된 인터랙티브 해석 및 분석 환경인 TokenScope를 소개합니다. 이 시스템은 모듈식 3계층 아키텍처를 기반으로 구축되었습니다:

1. 생성 서버(Generation Server): 모델 발견, 로딩 및 저수준 디코딩을 처리합니다. 최소한의 생성 API를 통해 Hugging Face 호환 디코더 전용 모델을 노출합니다.
2. 오케스트레이션 서버(Orchestration Server): 생성 요청을 조정하고, 사용자 세션을 관리하며, 브랜칭 상태를 처리하고, 메트릭을 계산하며, 프론트엔드 지향 API를 제공합니다.
3. 웹 기반 프론트엔드 (React): 모델 동작을 탐색하기 위한 인터랙티브 시각화 및 제어 기능을 제공합니다.

핵심 메커니즘

• 디코딩 시점 계측(Decoding-Time Instrumentation): TokenScope는 디코딩 과정을 계측하여 매 생성 단계마다 토큰 확률, 대안 후보, 어텐션 가중치 및 파생된 불확실성 지표를 포함한 미세한 신호를 포착합니다. 이 신호들은 프론트엔드로 스트리밍됩니다.
• 인터랙티브 브랜칭(Interactive Branching): 사용자는 생성된 토큰을 대안 후보나 커스텀 텍스트로 교체하고, 수정된 접두사(prefix)로부터 생성을 계속할 수 있습니다. 시스템은 공유된 접두사와 갈라지는 연속(divergent continuations)을 기록하는 브랜칭 구조를 유지하여, 반사실적 출력을 탐색할 수 있게 합니다.
• 코드 인식 구조 분석(Code-Aware Structural Analysis): Tree-Sitter 파서를 사용하여 TokenScope는 생성된 토큰을 추상 구문 트리(AST) 노드(예: 표현식, 문장, 함수)에 매핑합니다. 이를 통해 토큰 수준의 메트릭과 어텐션 신호를 의미 있는 구조적 단위 위로 집계할 수 있습니다.

메트릭 및 정의

TokenScope는 다음과 같이 정의된 일련의 정량적 메트릭을 노출합니다:

• 토큰 확률 (신뢰도, Token Probability): 생성된 토큰에 할당된 확률 $p_t(y_t)$.
• 토큰 서프라이절 (Token Surprisal): $-log p_t(y_t)$로 정의되며, 컨텍스트가 주어졌을 때 해당 토큰이 얼마나 예상 밖인지를 측정합니다.
• 마진 신뢰도 (Margin Confidence): 가장 높은 확률을 가진 토큰과 두 번째로 높은 확률을 가진 토큰 사이의 차이로, 로컬 결정성을 반영합니다.
• 엔트로피 (Entropy): 후보 분포에 대한 불확실성을 정량화합니다 ($H_t = -\sum p_t(v) log p_t(v)$).
• 시퀀스 퍼플렉시티 (Sequence Perplexity): 전체 생성 시퀀스의 평균적인 예측 불가능성을 정량화합니다.
• 어텐션 매스 (Attention Mass): 특정 토큰이 이후의 디코딩 결정에 얼마나 지속적으로 영향을 미치는지 측정하며, 모든 어텐션 헤드에 걸쳐 이후의 모든 토큰으로부터 받은 평균 어텐션으로 계산됩니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. TokenScope 도구: 트랜스포머 기반 LLM, 특히 코드 생성에 초점을 맞춘 디코딩 시점의 토큰 수준 신호를 노출하는 인터랙티브 환경입니다.
2. 통합된 메트릭 및 브랜칭: 토큰 수준의 불확실성 메트릭, 어텐션 살리언시(saliency), 그리고 반사실적 생성을 위한 인터랙티브 브랜칭을 지원합니다.
3. 코드 인식 분석: 토큰 수준의 신호를 다양한 수준의 AST 엔티티(토큰, 표현식, 문장, 라인, 블록 모드)와 정렬하는 능력입니다.
4. 통합 환경: 사후 분석이나 고립된 내부 신호에만 집중하는 도구의 한계를 해결하며, 설명 가능성, 해석 가능성, 그리고 사용자 주도 탐색을 결리한 시스템입니다.

결과 및 역량

논문은 다른 도구와의 정량적 벤치마킹 대신 시각화와 기능적 설명을 통해 TokenScope의 역량을 입증합니다. 입증된 주요 역량은 다음과 같습니다:

• 불확실성 시각화: 색상으로 코딩된 토큰과 플롯된 메트릭을 통해 신뢰도 점수, 엔트로피, 서프라이절을 표시합니다 (예: sort 함수 생성 시각화).
• 어텐션 시각화: 장기 의존성을 드러내기 위해 헤드당 어텐션 매스와 헤드 평균 어텐션을 보여줍니다.
• 반사실적 탐색: 사용자가 토큰을 교체(예: return을 print로 변경)하고, 생성이 원래 경로에서 어떻게 벗어나는지 관찰할 수 있게 합니다.
• 구조적 집계: 메트릭을 토큰 수준에서 상위 레벨인 블록 수준(예: 함수 본문 또는 루프)까지 어떻게 집계하여 구조적으로 취약한 영역을 식별할 수 있는지 보여줍니다.

의의 및 주장

저자들은 TokenScope를 사후 검사 이상의 LLM 생성 코드 디버깅, 감사 및 이해를 위한 실용적인 환경으로 포지셔닝합니다. 그 의의는 다음과 같습니다:

• 체계적 조사: 생성 중에 어디에서 불확실성이 발생하는지, 그리고 로컬 결정이 어떻게 구조적 오류로 전파되는지를 연구할 수 있게 합니다.
• 격차 해소: 디코딩 시점의 신호와 구조적 프로그램 분석을 결리합니다. 이는 작은 토큰 편차가 구문적 또는 의미적 실패를 초래할 수 있는 코드 작업에서 매우 중요합니다.
• 접근성: 기계적 해석 가능성 프레임워크에 필요한 깊은 기술적 전문 지식 없이도 토큰 수준의 분석을 가능하게 하여, 연구자와 실무자 모두에게 접근성을 제공합니다.

논문은 현재 접근 가능한 확률을 제공하는 디코더 전용 모델을 대상으로 하며(폐쇄형 API 제외), Tree-Sitter 파서에 의존하고(현재 파이썬으로 제한), 미세한 신호 추출로 인한 오버헤드 때문에 고성능 프로덕션 추론 시스템보다는 분석 도구로 설계되었다는 점을 언급하며 한계를 인정합니다. 추가 연구를 촉진하기 위해 소스 코드는 공개되었습니다.