Rethinking Personalization in Large Language Models at the Token Level

이 논문은 토큰 수준에서 개인화 정도를 추정하고 가중치를 동적으로 조정하는 'PerContrast' 방법과 'PerCE' 손실 함수를 제안하여, 기존 대형 언어 모델의 개인화 성능을 크게 향상시키고 다양한 작업과 시나리오에 효과적으로 적용 가능한 새로운 패러다임을 제시합니다.

Chenheng Zhang, Yijun Lu, Lizhe Fang, Chunyuan Zheng, Jiajun Chai, Xiaohan Wang, Guojun Yin, Wei Lin, Yisen Wang, Zhouchen Lin

게시일 Tue, 10 Ma
📖 3 분 읽기☕ 가벼운 읽기

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"대형 언어 모델 (LLM) 이 개인에게 더 잘 맞춰진 답변을 하도록 하는 새로운 방법"**을 제안합니다.

기존의 AI 는 모든 사용자에게 똑같은 방식으로 답변을 학습했지만, 이 논문은 **"답변의 한 글자 (토큰) 마다 개인화 정도가 다르다"**는 사실을 발견하고, 이를 해결하는 **'PerCE'**라는 기술을 개발했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.


1. 문제: "모든 단어에 똑같은 점수를 매기면 안 돼요!"

비유: 요리사와 손님
기존의 AI 학습 방식은 마치 모든 재료를 똑같은 중요도로 취급하는 요리사와 같습니다.

  • 상황: 손님이 "저는 매운 걸 좋아해요"라고 했을 때, AI 는 "매운"이라는 단어와 "맛있는"이라는 단어를 똑같은 비중으로 학습합니다.
  • 문제: 하지만 실제로는 "매운"이라는 단어가 손님의 취향을 반영하는 핵심 열쇠인 반면, "맛있는"은 누구나 쓰는 일반적인 단어일 뿐입니다.
  • 결과: AI 는 중요한 단어 ("매운") 에 집중하지 못하고, 모든 단어를 평평하게 학습하다 보니 사용자의 개성을 제대로 담아내지 못합니다.

2. 해결책 1 단계: "PerContrast" (개인화 감지기)

이 논문은 먼저 **"이 단어가 정말로 그 사용자의 취향을 반영하고 있을까?"**를 측정하는 도구를 만들었습니다. 이를 PerContrast라고 부릅니다.

비유: "만약에..." 게임

  • 방법: AI 가 답변을 할 때, 사용자의 정보 (예: "매운 걸 좋아함") 를 빼고 다시 한번 상상해 봅니다.
    • A 경우: "나는 매운 걸 좋아해. 그래서 이 요리는 매운맛이야." (사용자 정보 포함)
    • B 경우: "나는 매운 걸 좋아해. 그래서 이 요리는 맛있는맛이야." (사용자 정보 제거)
  • 판단: 만약 사용자 정보를 빼자마자 "매운"이라는 단어가 사라지거나 확률이 급격히 변했다면? → 이 단어는 사용자의 취향을 반영한 '핵심 단어'입니다!
  • 역할: 이 도구는 답변의 각 단어마다 "개인화 점수"를 매겨줍니다.

3. 해결책 2 단계: "PerCE" (핵심 단어 집중 훈련)

이제 AI 를 훈련시킬 때, 이 점수를 활용합니다. 기존 방식은 모든 단어에 똑같은 점수를 주었지만, 이 새로운 방식인 PerCE점수가 높은 단어 (핵심 단어) 에 더 많은 점수를 줍니다.

비유: "스타 플레이어에게 더 많은 공을 주는 축구 코치"

  • 기존 방식 (Cross-Entropy): 축구 코치가 모든 선수에게 똑같은 횟수로 공을 넘겨주며 훈련시킵니다. (핵심 공격수나 수비수나 똑같음)
  • 새로운 방식 (PerCE): 코치는 경기 중 "저 선수 (핵심 단어) 가 상대를 뚫는 데 가장 중요해!"라고 판단합니다. 그래서 훈련 시간의 80% 를 그 핵심 선수에게 집중시킵니다.
  • 효과: AI 는 사용자의 취향을 결정짓는 '핵심 단어'를 훨씬 더 잘 기억하고, 자연스럽게 그 스타일로 답변을 생성하게 됩니다.

4. 왜 이것이 중요한가요? (결과)

이 방법을 적용한 실험 결과는 놀라웠습니다.

  • 성능 향상: 기존 방식보다 개인화 성능이 평균 10% 이상, 최대 68% 까지 향상되었습니다.
  • 비용 효율: "핵심 단어"를 찾는 과정이 매우 가볍습니다. 마치 요리할 때 재료 하나를 덜 넣는 것만큼의 추가 비용만 들면 됩니다.
  • 범용성: 대화, 글쓰기, 요약 등 다양한 상황에서, 그리고 서로 다른 AI 모델에서도 잘 작동했습니다.

5. 한 줄 요약

이 논문은 **"AI 가 사용자의 개성을 배울 때, 모든 단어를 똑같이 대우하지 말고, 사용자의 취향을 가장 잘 드러내는 '핵심 단어'에 집중해서 가르쳐야 한다"**는 사실을 발견하고, 이를 실현하는 효율적이고 강력한 훈련 방법을 제시했습니다.

결론: 이제 AI 는 사용자의 "취향"을 더 잘 이해하고, 마치 그 사람처럼 말하고 글을 쓸 수 있게 되었습니다.