Memorization Dynamics of Fill-in-the-Middle Pretraining

기술 요약: 중간 채우기 전구동의 암기 역학

문제 제기
대규모 언어 모델 (LLM) 은 훈련 데이터를 그대로 재현하는 것으로 알려져 있으며, 여기에는 개인 정보와 저작권이 있는 텍스트도 포함됩니다. 반복은 암기의 주요 예측 인자이지만, 전구동 (pretraining objectives) 이 이 현상에 미치는 구체적인 영향은 아직 충분히 탐구되지 않았습니다. 표준 인과 언어 모델은 오직 선행 문맥에 기반하여 토큰을 예측하는 왼쪽에서 오른쪽 (LTR) 구동을 사용합니다. 반면, 중간 채우기 (FIM) 는 코드 라마 (Code Llama), 스타코더 (StarCoder) 등의 채우기 기능에 널리 사용되는 구동 방식으로, 감시자 토큰 (sentinel tokens) 으로 분리된 접두어와 접미어 문맥을 모두 사용하여 중간 타겟 구간을 예측합니다. 본 논문은 표준 LTR 훈련과 비교하여 FIM 구동이 verbatim(완전 일치) 암기의 역학을 어떻게 변화시키는지 조사하며, 특히 FIM 이 추출된 구간의 확률 분포를 변화시키는지, 문맥 (접두어 대 접미어) 의 역할, 그리고 반복 횟수에 대한 의존성이 어떻게 달라지는지 질문합니다.

방법론
저자들은 동일한 데이터 소스와 아키텍처를 사용하지만 서로 다른 전구동으로 훈련된 매칭된 Llama 3.2 모델 (3B 및 1B 파라미터 규모) 에 대한 통제된 연구를 수행했습니다.

• 데이터 구성: 훈련 코퍼스는 FineWeb(100B 토큰) 과 프로젝트 구텐베르크 발췌문의 통제된 하위 집합을 결합했습니다. 암기 효과를 분리하기 위해, 구텐베르크 발췌문은 미리 암기된 이상치 윈도우를 제거하도록 필터링된 후 1 회에서 128 회 노출까지 이어지는 12 개의 "반복 버킷"으로 분할되었습니다.
• 훈련 체계: 동일한 데이터에서 두 개의 코퍼스가 구성되었습니다. LTR 코퍼스는 표준 자기회귀 순서를 유지했습니다. FIM 코퍼스는 반복된 FIM 복사본에 대해 고정된 구간 노출이 아닌 문서 수준의 노출을 보장하기 위해 무작위 분할 지점을 사용하여 감시자 토큰으로 접두어–접미어–중간 형식으로 예시를 재작성했습니다. 모델들은 95%/5% FineWeb/구텐베르크 분할로 약 103B 토큰에 해당하는 1 에포크 동안 훈련되었습니다.
• 평가:
  • 하류 성능: 암기 차이가 일반 능력 격차로 인한 것이 아님을 보장하기 위해 LM Evaluation Harness 의 8 가지 작업으로 평가되었습니다.
  • 접두어 전용 프로빙: 모델에 100 개의 접두어 토큰을 쿼리하여 32 토큰 타겟 구간을 예측하도록 했습니다. 지표로는 정확한 추출 확률 ($p_z$) 과 ROUGE-L 점수가 포함되었습니다.
  • 네이티브 FIM 프로빙: 모델에 네이티브 FIM 형식으로 쿼리하여 접두어와 접미어 문맥의 비율을 변화시켰습니다 (예: 100/0, 50/50, 0/100). 이를 통해 각 측면이 암기에 기여하는 정도를 파악했습니다.
  • 어텐션 분석: 모델이 접두어, 접미어, 그리고 이전에 생성된 타겟 토큰 사이에 어떻게 집중을 할당하는지 이해하기 위해 어텐션 가중치를 분석했습니다.

주요 기여 및 결과
이 연구는 FIM 과 LTR 모델에 대해 뚜렷한 암기 프로파일을 드러냈습니다:

1. 이질적인 추출 프로파일:

   • LTR 모델: 확률 분포가 "두꺼운 꼬리 (heavy-tailed)" 형태를 보입니다. 이들은 길고 정확한 연속체에 높은 확신을 부여할 가능성이 더 높습니다. 결과적으로 LTR 모델은 전반적으로 엄격한 완전 일치 추출 ($p_z \ge 0.1\%$) 의 비율이 더 높습니다.
   • FIM 모델: 확률 질량을 부분적 재구성 전반에 더 넓게 분배합니다. 엄격한 완전 일치 기준 하에서는 더 적은 윈도우를 추출하지만, 특히 짧은 구간이나 높은 반복 횟수에서 더 강력한 높은 중첩 회복 (ROUGE-L) 과 상위 k 지원률을 보여줍니다.
   • 반복 역학: LTR 추출은 반복이 증가함에 따라 체감 수익 (로그arithmic 성장) 을 보입니다. 반면 FIM 추출은 반복에 따라 더 선형적으로 성장합니다. 그러나 추출률에서 LTR 을 능가하기 위해 FIM 에 필요한 구간 길이는 타겟 구간의 길이가 길어질수록 증가합니다. 더 긴 구간은 LTR 의 두꺼운 꼬리 분포를 선호합니다.

2. 네이티브 FIM 의 문맥 의존성:

   • FIM 이 양쪽을 균등하게 활용한다는 직관과 달리, 접두어 문맥이 FIM 모델에서 암기의 주된 동인입니다.
   • 네이티브 FIM 프로빙은 문맥 예산이 접미어에서 접두어로 이동함에 따라 암기 지원이 단조롭게 향상됨을 보여줍니다.
   • 실제 접두어를 방해 요소 구간으로 대체하면 암기가 거의 억제되는 반면, 접미어를 대체하는 것은 훨씬 더 작은 영향을 미칩니다. 이는 FIM 훈련 중에도 verbatim(완전 일치) 회상이 LTR 모델과 유사하게 접두어 문맥에 강하게 고정되어 있음을 나타냅니다.

3. 어텐션 메커니즘:

   • FIM 모델은 LTR 모델에 비해 접두어에 더 많은 어텐션을 할당하고 이미 본 타겟 토큰에는 더 적은 어텐션을 할당합니다.
   • 접두어 문맥이 부족할 때, FIM 모델은 타겟 구간의 선행 토큰에 더 강하게 어텐션함으로써 보상을 하지만, 이는 실제 접두어가 제공하는 암기 강도를 완전히 회복하지는 못합니다.

의의 및 주장
본 논문은 전구동이 암기 축적 방식을 근본적으로 형성한다고 주장합니다. FIM 은 채우기 유용성을 개선하도록 설계되었지만, 단순히 LTR 암기에 접미어 문맥을 "추가"하는 것이 아니라 다음과 같은 다른 암기 프로파일을 생성합니다:

• 암기는 초기에는 느리게 축적되지만, 높은 반복 횟수에서 짧은 구간 추출에 있어 LTR 성능을 초과할 수 있습니다.
• LTR 암기의 "두꺼운 꼬리" 특성 (긴 완전 일치를 선호) 은 FIM 에서 더 넓은 분포 (부분 일치를 선호) 로 대체됩니다.
• 중요하게도, 이 연구는 하나의 구간 길이 또는 하나의 프로빙 형식 (예: 접두어 전용) 만으로 암기를 평가하면 중요한 뉘앙스를 놓칠 수 있음을 보여줍니다. 모델은 엄격한 완전 일치 추출 하에서는 암기 경향이 낮아 보일 수 있지만, FIM 프로빙 하에서는 높은 중첩 회복에 매우 취약할 수 있습니다.

저자들은 채우기 기능을 가진 모델의 경우 암기 위험이 균일하지 않으며, 추출 기하학과 반복 역사에 따라 접두어 문맥에 고정되지만 다르게 나타난다고 결론지었습니다. 이는 채우기 기능을 가진 모델에 대한 데이터 큐레이션과 암기 감사는 LTR 기반 지표에만 의존하기보다 이러한 특정 역학을 고려해야 함을 시사합니다.

한계점
저자들은 본 연구가 최전선 규모 모델 (3B 및 1B 파라미터) 로 제한되어 있으며 더 큰 최전선 모델로 외삽되지 않는다고 지적합니다. 반복 횟수는 128 로 제한되어 점근적 한계를 분석할 수 없습니다. 또한, 훈련 중 FIM 예시의 무작위 분해로 인해 특정 프로빙 구간에 대한 정확한 노출을 추적할 수 없어 특정 훈련 인스턴스에 대한 세밀한 귀속 분석이 제한됩니다.