Production and Perception in LLMs: A Token Probability Approach

기술적 요약: LLM의 생성과 지각: 토큰 확률 접근법

문제 제기
인간 심리언어학에서는 언어 생성(의도를 가지고 메시지를 인코딩하는 것)과 지각(맥락으로부터 의미를 추론하는 것) 사이에 잘 알려진 비대칭성이 존재한다. 그러나 대규모 언어 모델(LLM)이 기능적으로 유사한 구분을 보이는지는 여전히 불분명하다. 입력과 출력을 위한 별도의 경로를 유지했던 초기 인코더-디코더 구조와 달리, 현대의 디코더 전용(decoder-only) LLM은 입력 처리와 출력 생성 모두에 단일한 기저 메커니즘인 '다음 토큰 예측'을 사용한다. 이러한 구조적 대칭성은 LLM이 근본적인 생성-지각 구분을 결여하고 있을 가능성을 시사한다. 더욱이, 메타언어적 프롬프팅(예: 모델에게 텍스트를 판단하거나 평가하도록 요청하는 것)을 통해 이 구분을 측정하려 했던 이전의 행동 연구들은 일관되지 않은 결과를 보였으며, 인간과 유사한 비대칭성을 재현하는 데 자주 실패했다.

연구 방법론
이러한 한계를 해결하기 위해, 저자들은 메타언어적 판단을 생성하는 대신 토큰 확률 분포를 통해 생성-지각 구분을 직접 측정하는 방법론적 전환을 제안한다. 저자들은 Hu와 Levy(2023)를 인용하며, 유도된 평가 응답은 모델의 기저 확률과 차이가 있으므로, 직접적인 확률 측정이 모델의 내부 상태에 대한 더 깨끗한 신호를 제공한다고 주장한다.

실험 설계는 다음 단계로 구성된다:

1. 생성: 기본 모델(Llama-3.1-8B)이 주요 생성 프롬프트(예: "X에 대한 시를 써줘") 하에서 일련의 토큰 시퀀스(1,089개의 동물 주제에 대한 시)를 생성한다. 이 생성 과정 동안 토큰 확률($p_0$)이 기록된다.
2. 재점수화 (대조군): 생성된 동일한 토큰 시퀀스를 재구문된 생성 프롬프트(예: "나는 X에 대한 시를 쓰고 싶습니다") 하에서 토큰별로 다시 평가한다. 이는 생성-생성(prod-prod) 조건에 대한 확률($p_1$)을 산출한다.
3. 재점수화 (실험군): 동일한 토큰 시퀀스를 지각 지향적 프롬프트(예: "여기 X에 대한 시가 있습니다, 이것을 평가해 주세요") 하에서 다시 평가한다. 이는 생성-지각(prod-perc) 조건에 대한 확률($p_2$)을 산출한다.
4. 분석: 저자들은 다음을 사용하여 $p_0$와 $p_1$ 사이의 발산, 그리고 $p_0$와 $p_2$ 사이의 발산을 정량화한다:
   • 시(poem)별 피어슨 상관계수.
   • 시별 평균 절대 거리($|p_0 - p_1|$ 대 $|p_0 - p_2|$).
   • 첫 100개 토큰까지의 거리 감쇠를 모델링하는 시간적 분석(지수 감쇠 함수 $y = ae^{-bx} + c$ 사용).

본 실험은 여러 프롬프트 변형(생성 4종, 지각 3종)에 걸쳐 반복되었으며, 베이스 및 인스트럭션 튜닝된 변체 모두를 포함하여 4개의 추가 오픈 웨이트 모델(EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct)로 확장되었다.

주요 결과

• 체계적 발산: 본 연구는 프레임이 생성에서 지각으로 전환될 때 토큰 확률에서 일관되고 상당한 발산이 발생함을 발견했다. 주요 모델(Llama-3.1-8B)에서 prod-perc 조건의 평균 절대 거리는 prod-prod 조건보다 약 1.8배 더 컸으며, 95% 신뢰 구간이 겹치지 않았다.
• 프레이밍의 특이성: prod-prod 대조 조건은 천장 효과(near-ceiling)에 가까운 상관관계를 보여, 단순한 프롬프트 재구문이 확률을 유의미하게 변화시키지 않음을 나타냈다. 관찰된 발산은 의사소통 프레이밍(생산자 대 해석자)의 변화에 특이적이다.
• 시간적 역학: 효과는 시퀀스의 시작 부분에서 가장 강력하다. 발산은 생성된 맥락이 축적됨에 따라 지수 감쇠 패턴을 따르며 감소한다. 그러나 prod-perc 조건에서의 초기 발산 크기는 prod-prod 조건보다 약 8배 더 크며, 모든 모델에서 100-토큰 창 내에 완전히 수렴하지 않는다.
• 일반화 가능성: 이 비대칭성은 테스트된 모든 5개 모델(베이스 및 인스트럭션 튜닝 모델 모두)에서 재현되었으며, prod-perc 거리가 prod-prod 거리를 1.53배에서 2.11배 사이의 비율로 초과했다. 이는 이 효과가 특정 모델 아키텍처나 정렬(RLHF)의 부재로 인한 인위적 결과가 아님을 시사한다.

의의 및 주장
본 논문은 몇 가지 중요한 발견을 주장한다:

1. 디코더 전용 아키텍처에서의 기능적 구분: 이론적으로 생성과 지각의 별도 경로를 배제하는 공유 파라미터 기반의 디코더 전용 설계에도 불구하고, 프롬프트 프레이밍만으로도 확률 분포에서 기능적으로 유의미한 비대칭성을 유도하기에 충분하다. 이는 LLM이 모든 맥락에서 입력과 출력 처리를 동일하게 취급한다는 가정에 도전한다.
2. 방법론적 타당성: 본 연구는 언어에 대해 "말하는" 능력과 혼동하지 않고 프레이밍이 모델의 내부 표현에 미치는 영향을 격리함으로써, 인지적 유사 구분을 조사하기 위해 메타언어적 프롬프팅보다 직접적인 토큰 확률 측정을 사용하는 것이 타당함을 입증한다.
3. 효과의 견고성: 생성-지각의 비대칭성은 특정 프롬프트 문구나 단일 모델 제품군의 인위적 결과가 아니다. 이는 모델 크기, 아키텍처(베이스 vs 인스트럭션 튜닝), 프롬프트 조합 전반에 걸쳐 지속된다.

한계점
저자들은 본 연구가 7~9B 파라미터 범위와 단일 창의적 도메인(시)에 국한되어 있음을 명시한다. 또한 통계적으로 신뢰할 수 있는 차이가 존재하지만, 인간의 행동과 비교했을 때 이 차이의 크기가 갖는 해석적 문제는 여전히 열린 과제로 남아 있음을 인정한다. 아울러, 본 연구는 최종 레이어의 확률을 사용하였으며, 향후 연구에서는 이러한 발산이 내부 레이어 전체에 걸쳐 균일하게 나타나는지 또는 특정 깊이에 집중되는지를 조사할 수 있다.