기술 요약: 컨셉 토큰 (Concept Tokens)

문제 정의

대규모 언어 모델(LLM)은 일반적으로 다의적이며 잘 정립된 이산적 개념에 대응하지 않는 서브워드(subword) 또는 전체 단어 토큰에 의존합니다. 개념 수준의 의미는 대개 트랜스포머 레이어를 거치는 문맥적 처리를 통해 발현되지만, 전체 모델을 재학습시키지 않고도 특정 생성 동작을 유도할 수 있는 임베딩 공간 내의 구조화되고 해석 가능한 표현에 대한 필요성이 존재합니다. 기존의 소프트 프롬프팅(예: P-tuning) 방식은 특정 작업을 위해 연속적인 벡터를 최적화하고, 메커니즘 해석 가능성 연구(예: SAEs)는 잠재적 방향을 추출하지만, 자연어 정의로부터 직접 압축된 행동 표현을 학습하는 데에는 여전히 간극이 존재합니다. 또한, 교육적 응용 분야나 개인정보 보호가 중요한 환경에서는 온프레미스 배포가 가능한 소형 모델이 필요한 경우가 많은데, 이러한 모델들은 컨텍스트 윈도우에 제공된 길고 미묘한 지시사항을 따르는 데 어려움을 겪을 수 있습니다.

방법론: 컨셉 토큰 (Concept Tokens)

저자들은 사전 학습된 LLM의 어휘 사전에 새로운 특수 토큰을 추가하고, 타겟 개념에 대한 여러 개의 자연어 정의만을 사용하여 해당 토큰의 임베딩을 학습시키는 경량화된 방법인 컨셉 토큰을 제안합니다.

핵심 메커니즘:

1. 정의 코퍼스 구축: 타겟 개념 $c$에 대한 정의 세트($D_c$)를 수집합니다. 각 정의에는 해당 개념의 명시적인 출현이 적어도 하나 이상 포함되어야 합니다.
2. 인스턴스화 (Instantiation): 코퍼스 내의 모든 개념 $c$의 출현을 새로운 특수 토큰 $t_c$로 교체하여 인스턴스화된 코퍼스 $D_c(t_c)$를 생성합니다.
3. 최적화: 사전 학습된 LLM은 동결(frozen) 상태를 유지합니다. 오직 새로운 토큰 $t_c$에 대응하는 임베딩 벡터 $e_c$만을 최적화합니다. 최적화는 인스턴스화된 코퍼스에서의 언어 모델링 목적 함수(다음 토큰 예측)에 대한 표준 크로스 엔트로피 손실을 최소화합니다.
4. 추론: 학습된 토큰 $t_c$를 프롬프트에 삽입합니다. 이는 방향성을 가질 수 있습니다: 토큰을 긍정(asserting)하면 해당 개념과 관련된 행동을 장려하고, 부정(negating, 예: " $t_c$를 생성하지 마시오")하면 해당 행동을 억제합니다.

이론적 근거:
이 방법은 여러 정의를 통해 손실을 최소화함으로써, 임베딩 $e_c$가 정의들이 부과하는 상충하는 제약 조건들을 만족하는 일반화된 표현을 학습한다고 가정합니다. 단일 시퀀스를 암기하는 "메모리 토큰"과 달리, 컨셉 토큰은 특정 텍스트의 무손실 재구성이 아니라 개념의 본질을 포착하는 '의미적 끌개(semantic attractor)'를 학습합니다.

실험적 평가

저자들은 4비트 양자화된 Llama 3.1 8B Instruct 모델을 사용하여 세 가지 서로 다른 설정에서 컨셉 토큰을 평가했습니다.

1. 폐쇄형 질의응답(Closed-Book QA)에서의 환각 제어

• 설정: "환각(hallucinations)"을 설명하는 정의 코퍼스를 생성하여 컨셉 토큰을 학습시켰습니다. 모델은 HotpotQA(1,000개 인스턴스)를 대상으로 세 가지 조건(토큰 부정, 토큰 긍정, 지시 없음) 하에 테스트되었습니다. 베이스라인으로는 명시적 텍스트 언급 및 전체 정의 코퍼스를 인컨텍스트(in-context)로 제공하는 방식이 포함되었습니다.
• 결과:
  • 방향성 효과: 토큰을 부정하면 베이스라인에 비해 환각률이 감소한 반면, 토큰을 긍정하면 환각이 증가했습니다.
  • 정밀도 vs. 기권(Abstention): 환각의 감소는 답변의 정밀도를 개선하기보다는 주로 기권(답변 거부) 비율을 높임으로써 달성되었습니다. 부정적 개입 시 정밀도는 거의 일정하게 유지되었습니다.
  • 비교: 컨셉 토큰은 총체적인 지표에서 "정의 코퍼스 인컨텍스트" 베이스라인과 유사한 성능을 보였으나, 인스턴스별 행동에서는 차이를 보였습니다(낮은 일치도, $\kappa=0.35$).

2. 제2외국어 교육에서의 리캐스팅(Recasting) 유도

• 설정: 합성된 정의 코퍼스를 사용하여 "리캐스팅"(의미는 유지하면서 학습자의 오류를 암시적으로 수정하는 것)을 적용하도록 모델을 학습시켰습니다. 작업은 학습자의 오류가 포함된 답변이 등장하는 대화형 튜터링 시나리오를 포함합니다.
• 결식:
  • 행동 조종: 토큰을 긍정하면 베이스라인(23.26%) 및 명시적 텍스트 언급(16.74%)에 비해 리캐스팅 비율이 크게 증가(62.33%)했습니다. 토큰을 부정하면 리캐스팅이 억제되었습니다.
  • 지시 준수: 결정적으로, 컨셉 토큰 방식은 "정의 코퍼스 인컨텍스트" 베이스라인에 비해 다른 지시사항(예: 후속 질문 요청)에 대한 준수 능력을 더 잘 유지했습니다. 인컨텍스트 베이스라인은 높은 리캐스팅 비율(93.95%)을 달성했지만, 종종 후속 질문을 수행하지 못하거나 기계적으로 수정을 적용한 반면, 컨셉 토큰은 98.04%의 후속 질문율을 유지하며 이를 유지했습니다.

3. 질적 분석: 실제 vs. 가공의 개념

• 설정: 에펠탑(알려진 개념)과 오스트랄 타워(조작된 위키피디아 문서를 가진 합성 개념)를 위해 컨셉 토큰을 학습시켰습니다.
• 결과:
  • 에펠탑: 토큰이 기존의 잠재 표현을 효과적으로 활성화하여 정확한 사실 회상, 요약 및 유추 추론을 가능하게 했습니다.
  • 오스트랄 타워: 토큰은 일관된 고수준의 의미론적 테마(몬테비데오의 랜드마크 타워)를 포착하고 창의적 작업에 일반화되었습니다. 그러나 구체적인 새로운 사실적 세부 사항(예: 날짜, 높이)을 안정적으로 저장하거나 검색하는 데는 실패했으며, 종-종 그럴듯하지만 틀린 값을 환각했습니다. 이는 컨셉 토큰이 새로운 사실을 위한 신뢰할 수 있는 데이터베이스가 아니라 의미적 끌개로서 작동함을 시사합니다.

주요 기여

1. 새로운 메커니즘: 행동 예시나 전체 모델 파인튜닝 없이 정의만으로 개념을 내재화하는 방법으로서 컨셉 토큰을 도입했습니다.
2. 방향성 제어: 학습된 임베딩이 동결된 LLM에서 행동을 조종하기 위해 방향성(긍정 vs. 부정)을 가질 수 있음을 입증했습니다.
3. 효율성 및 준수성: 컨셉 토큰이 정의적 컨텍스트를 제공하는 것보다 더 균형 잡힌 접근 방식을 취하며, 다른 프롬프트 지시사항에 대한 준수 능력을 더 잘 유지하면서도 타겟 행동을 유도하는 압축된 제어 신호를 제공한다는 증거를 제시했습니다.
4. 한계점 식별: 컨셉 토큰이 의미적/행동적 특성은 포착하지만, 미세한 새로운 사실 정보를 인코딩하는 신뢰할 수 있는 메커니즘은 아님을 명확히 했습니다.

의의 및 주장

본 논문은 컨셉 토큰이 정의로부터 학습된 압축된 제어 신호를 제공하여 동결된 LLM의 행동을 조종할 수 있다고 주장합니다. 저자들은 이 접근 방식이 특히 교육적 응용 분야와 컨텍스트 길이가 제한되고 데이터 프라이버시가 중요한 온프레미스 소형 모델 배포 시나리오에 유용하다고 강조합니다.

저자들은 다음과 같이 결과를 겸허하게 서술합니다:

• 방법론은 개념에 대한 이해와 관련된 행동 변화를 성공적으로 유도합니다.
• 이는 트레이드오프를 제공합니다: 인컨텍스트 정의는 행동을 더 강력하게 강제할 수 있지만 다른 지시사항의 성능을 저하시킬 수 있는 반면, 컨셉 토큰은 더 균형 잡힌 접근을 제공합니다.
• 이 방법은 답변의 정밀도를 개선하는 의미에서의 "환각 없는" 생성을 위한 해결책이 아니라, 답변 의지(기권율 증가)를 조절하기 위한 도구입니다.
• 학습된 임베딩은 의미적 끌개 역할을 하지만, 새로운 사실 정보를 저장하는 데이터베이스로 기능하지는 않습니다.

이 연구는 정의 코퍼스 설계가 행동에 미치는 영향 분석, 희소 자동 인코더(SAE)를 통한 내부 활성화 변화 조사, 그리고 여러 컨셉 토큰의 결합 탐구 등의 향후 연구 방향을 제시합니다.