💬 NLP

The Announcement Carries the Cue: Markup, Boundaries, and the Notation of Pre-Training Corpora

이 논문은 사전 학습 코퍼스에서 모델의 행동에 영향을 미치는 결정적인 변수는 구조적 선언의 구체적인 표기법이 아니라 그 존재 여부라고 주장하며, 이러한 선언들을 가역적인 사이드카(sidecar)로 분리하는 동시에 충실도 보존보다 역량 중심의 형식 선택을 우선시하는 새로운 데이터 형식을 제안한다.

원저자: E. M. Freeburg

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: E. M. Freeburg

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

보이지 않는 지도와 로봇 독자

당신이 로봇에게 글을 읽는 법을 가르치고 있다고 상상해 보세요. 당신은 단순히 책을 건네주는 것이 아니라, 단어들이 어떻게 서로 어우러지는지 로봇이 배울 수 있도록 텍스트를 아주 작은 조각들로 잘게 나누어 끝없이 이어지는 거대한 흐로 흘려보냅니다. 이것이 현대 AI 모델이 훈련되는 방식입니다. 하지만 여기에는 숨겨진 문제가 있습니다. 텍스트를 어떻게 준비하느냐가 우리가 생각했던 것보다 훨씬 더 중요하다는 점입니다.

책을 하나의 도시라고 생각해 보세요. 단어들은 건물이고, 장 제목, 페이지 번호, "제1장"과 같은 헤더는 거리의 표지판이자 지도상의 마커입니다. 이 표지판들은 당신이 어디에 있는지, 그리고 언제 새로운 동네로 이동했는지를 알려줍니다. 오랫동안 과학자들은 텍스트를 깔끔하게 정리하기만 하면—즉, 복잡한 서식을 제거하여 매끄럽고 평탄한 단어의 흐름으로 만들면—로봇이 문제없이 학습할 것이라고 가정해 왔습니다. 그들은 그 '표지판'들이 그저 장식일 뿐이라고 생각했습니다. 하지만 만약 그 표지-판들이 사실 가장 중요한 수업 내용이라면 어떨까요? 만약 로봇이 이야기를 배우는 것이 아니라, 다음에 올 것을 예측하기 위해 그 표지판들을 암기하고 있는 것이라면 어떨까요? 이 논문은 우리가 텍스트의 지도를 제거함으로써 로봇이 이야기의 구조를 무시하도록 의도치 않게 가르치고 있는 것은 아닌지 조사합니다.

위대한 "정리"의 실수

이 논문의 저자인 E. M. Freeburg는 AI 훈련 방식의 기묘한 간극을 조사하기로 했습니다. 저자는 우리가 책을 텍스트로 변환할 때 어떤 도구를 사용하는지는 알지만, 그 도구들이 무엇을 남겨두는지에 대해서는 실제로 측정하지 않는다는 점을 발견했습니다. 이는 채소를 썰 때 어떤 칼을 사용했는지는 정확히 알면서도, 채소가 여전히 온전한 상태인지 아니면 으깨진 페이스트가 되었는지는 전혀 확인하지 않는 요리사와 같습니다.

이 문제를 이해하기 위해 저자는 고전 소설인 *모비 딕(Moby-Dick)*을 살펴보았습니다. 원본 형태의 이 책에는 143줄의 "가구(furniture)"—장 번호, 제목, 헤더 등—가 포함되어 있습니다. 만약 이 모든 것을 삭제한다면, 283,267개의 단어로 이루어진 매끄럽고 연속적인 흐름이 남게 됩니다. 인간 독자에게 이것은 괜찮아 보입니다. 여전히 이야기를 따라갈 수 있기 때문입니다. 하지만 로봇에게 이것은 악몽입니다. 로봇은 몇 천 단어마다 "여기에 새 장이 시작됩니다!"라고 알려주는 표지판을 보는 데 익숙합니다. 그 표지판이 사라지면, 로봇은 단지 단어들을 보고서 이야기가 어디서 변하는지 추측해야 합니다. 이는 마치 모든 거리 표지판 위에 페인트가 칠해져 버린 도시를 운전하는 것과 같습니다.

이 논문은 이를 측정하기 위한 새로운 방법인 **"클린 윈도우 생존율(Clean-Window Survival)"**을 소개합니다. 8,192단어 너비의 창(window)이 있다고 상상해 보세요. 이 창을 텍스트 위로 밀어 넘길 때, "생존"이란 창이 구조적 표식(헤더나 불렛 포인트 등)이 없는 텍스트 구간을 지나가는 비율을 의미합니다.

유명한 C4 데이터셋(웹 텍스트의 거대한 집합)에서 생존율은 0.889입니다. 이는 로봇이 표지판이 없는 긴 구간을 자주 마주한다는 것을 의미합니다.
비전 모델로 변환된 PDF로 만들어진 최신 데이터셋(Dolma 3)에서는 생존율이 0.153으로 떨어집니다. 여기서 로봇은 표식, 헤더, 서식의 공격을 끊임없이 받게 됩니다.

저자는 "희소한 자원"이 표식이 없는 텍스트가 아니라, 표식이 없는 긴 텍스트라는 것을 발견했습니다. 대부분의 웹 텍스트는 짧고 지저질입니다. 하지만 책은 길고 일관성이 있습니다. 문제는 현대의 AI 훈련이 이러한 길고 표식이 없는 텍스트에 접근하는 통로를 잃어가고 있으며, 대신 서식을 통해 끊임없이 "나를 봐!"라고 외치는 텍스트로 대체되고 있다는 점입니다.

거대한 발견: 기호가 아니라 신호다

저자는 로봇이 실제로 무엇에 관심을 갖는지 알아내기 위해 일련의 영리한 실험을 수행했습니다. 그들은 동일한 텍스트의 세 가지 다른 버전을 테스트했습니다:

마크드(Marked): 전체 서식이 포함된 텍스트 (예: ## 제1장).
플랫(Flat): 서식 기호는 제거되었지만 단어는 유지된 텍스트 (예: 그냥 "제1장"이라는 단어만 한 줄에 있음).
사일런트(Silent): "제1장"이라는 줄 자체가 완전히 삭제되어 빈 공간만 남은 텍스트.

결과는 놀라웠습니다: 로봇은 기호에 신경 쓰지 않았습니다.
화려한 ##을 일반 텍스트 줄로 바꾸었을 때, 로봇의 성능은 전혀 변하지 않았습니다. 표지판이 해시태그든 그냥 문장이든 상관없었습니다. 로봇은 어느 쪽이든 만족했습니다.

하지만, 그 줄을 아예 삭제했을 때( "Silent" 버전), 로봇은 혼란에 빠졌습니다. 다음 단어를 예측하는 것이 눈에 띄게 어려워졌습니다. 로봇은 새로운 섹션이 시작된다는 것을 알기 위해 그 작은 "알림" 줄이 필요했습니다.

이는 중대한 깨달음으로 이어졌습니다: 로봇은 표지판의 스타일(마크다운 기호)로부터 배우는 것이 아니라, 그 알림의 존재로부터 배우고 있는 것입니다. 표지판은 "하던 일을 멈추세요; 여기에 경계가 있습니다"라고 말하는 신호 역할을 합니다. 표지판을 제거하면, 로봇은 스스로 구조를 파악하기 위해 훨씬 더 많은 노력을 기울여야 합니다.

"퓨어 프레임(Pure Frame)" 솔루션

저자는 **"퓨어 프레임(Pure Frame)"**이라 불리는 새로운 데이터 준비 방식을 제안합니다.
당신에게 책 한 권이 있다고 상상해 보세요. 모든 문단의 순서는 그대로 유지합니다. 하지만 모든 장 제목, 헤더, "제1부"와 같은 라벨을 삭제합니다. 그것들을 아무것도 없는 상태, 즉 빈 줄로 대체합니다.

왜 이렇게 하나요? 로봇이 표지판을 읽는 것이 아니라, 이야기로부터 직접 구조를 추론하도록 강제하기 위해서입니다.
안전한가요? 네. 저자는 삭제된 모든 줄을 저장하는 "사이드카(side-car)" 파일을 만들었습니다. 이는 나중에 원래의 책을 완벽하게 재구성할 수 있음을 의미합니다. 즉, 가역적입니다.

저자는 이를 27권의 퍼블릭 도메인 도서에 테스트했습니다. "퓨리 프레임" 버전은 헤더를 삭제했기 때문에 원본보다 토큰이 0.713% 적었습니다. 하지만 더 중요한 것은, "클린 윈도우 생존율"이 1.000으로 급증했다는 점입니다. 이는 이제 로봇이 끊김 없는 긴 사고의 흐름을 항해하도록 강제되었음을 의미하며, 이것이 바로 저자가 로봇이 더 잘 배워야 한다고 믿는 방식입니다.

로봇이 하지 않는 것

논문은 또한 로봇이 스스로 텍스트를 "수정"하는지 확인했습니다. 만약 장 제목이 없는 이야기를 준다면, 로봇이 다시 제목을 써넣기 시작할까요?

답변은: 아니오입니다.
연구진이 베이스 모델(튜닝되지 않은 순수 로봇)에게 삭제된 장 제목 이후의 글을 계속 써보라고 요청했을 때, 모델은 제목을 다시 넣지 않았습니다. 구조를 재현하려고 시도조차 하지 않았습니다. 그들은 그냥 글을 계속 써 내려갔습니다. 이는 헤더를 보는 습관이 자연적으로 발명되는 것이 아니라, 우리가 훈련 중에 그들에게 주는 것임을 시사합니다。

결론: 무엇을 가르칠지 선택하라

이 논문은 AI 훈련의 미래를 위한 대담한 제안으로 결론을 맺습니다. 현재 데이터 과학자들은 도구가 원본 문서의 모습을 얼마나 완벽하게 보존하는지, 즉 **충실도(fidelity)**를 기준으로 도구를 선택합니다. 저자는 우리가 로봇에게 어떤 특정 기술을 배우게 하고 싶은지, 즉 **역량(capability)**을 기준으로 도구를 선택해야 한다고 주장합니다.

만로 길고 복잡한 이야기를 이해하는 로봇을 원한다면, 서식을 통해 끊임없이 "새 섹션!"이라고 외치는 텍스트를 주는 것을 멈춰야 합니다. 대신, "퓨어 프레임"—즉, 로봇이 스스로 이야기의 구조를 파악하는 힘든 과정을 수행하도록 만드는 깨끗하고 끊김 없는 텍스트를 제공해야 합니다.

저자는 이것이 마지막으로 한 번의 값비싼 테스트가 필요한 가설임을 인정합니다. 즉, 이 새로운 형식으로 로봇을 훈련시켜 실제로 더 똑똑해지는지 확인해야 합니다. 하지만 지금까지의 증거는 우리가 추가해 온 "표지판"들이 오히려 해가 될 수 있으며, 로봇이 스스로 걷는 법을 배우는 것을 방해하는 지팡이 역할을 하고 있음을 시사합니다.

요약하자면: 이 논문은 책의 구조를 나타내는 시각적 "표지판"을 제거함으로써, AI가 단순히 목차를 암기하는 것이 아니라 이야기를 더 잘 이해하도록 가르칠 수 있다고 주장합니다.

기술 요약: 공지는 단서를 전달한다

문제 정의

본 논문은 사전 학습 코퍼스(pre-training corpora)에 기록되지 않은 결정적인 변수인 **표기법(notation)**을 식별한다. 텍스트 추출 방식(예: HTML 파싱 vs. 일반 텍스트)이 모델의 행동을 크게 변화시킨다는 점은 이미 입증되었으나, 결과물인 코퍼스의 표기법—구체적으로 구조적 경계(장, 절)가 어떻게 기록되는지—을 기록하는 데이터 카드(dataset card)는 존재하지 않는다.

수율과 충실도(fidelity)에 의해 구동되는 현재의 훈련 파이프라인은 의도치 않게 다음과 같은 분포를 만들어냈다:

과잉 표기(Over-marked): 충실한 변환기(특히 비전 기반 PDF 추출기)는 모든 경계에 구조적 기호(예: ##, *)를 배치하여, 모델이 의미론적 내용으로부터 경계를 추론하는 대신 기호의 존재 여부에 의존하는 "지름길(shortcut)"을 만든다.
평탄화(Flattened): 역사적인 웹 코퍼스(예: C4)는 종종 모든 마크업을 제거하지만, 남은 텍스트에는 여전히 "공지(announcement)"(예: 단독 행에 적힌 "CHAPTER 1")가 있어 신뢰할 수 있는 단서 역할을 한다.

핵심 가설은 모델이 표기법의 충실도(특정 기호의 사용)보다는 공지의 신뢰성(경계를 나타내는 짧고 공백으로 구분된 행)에 의존하도록 학습된다는 것이다. 현재의 코퍼스에는 경계가 공지되지 않은 긴 텍스트 구간이 부족하기 때문에, 모델은 장기 문맥(long context)에 걸쳐 담론 구조를 추적하기 위해 필요한 추론을 수행하도록 강제되지 않는다.

방법론

본 논문은 세 가지 전방위 측정 전략을 사용한 후, 새로운 데이터 형식과 검증 테스트 세트를 구축한다.

1. 측정 전방 (Measurement Fronts)

전방 I: 코퍼스가 무엇을 보유하고 있는가 (인구 조사):
- 지표: 정의된 클린 윈도우 생존율(Clean-Window Survival) $S(W)$ . 이는 구조적 마크업(헤딩, 리스트, 규칙)이 포함되지 않은 비중첩 $W$ -토큰 윈도우의 비율이다.
- 범위: 13개의 공개 코퍼스(C4, The Pile, Dolma, FineWeb, olmOCR 등)와 3개의 새로운 공급 후보군(UK Hansard, YouTube 트랜스크립트, 1929년 이전 도서)을 분석했다.
- 결과: 웹 코퍼스는 짧고 깨끗하지만( $S(8192) \approx 0.6-0.9$ ) 긴 문서는 부족하다. PDF 유래 코퍼스는 길지만 과하게 표기되어 있다( $S(8192) \approx 0.15$ ). 진정한 "길고, 마크업이 없는" 텍스트(도서)는 현대의 혼합 데이터셋에서 거의 사라졌다.
전방 II: 독자가 무엇을 사용하는가 (프로브):
- 설계: 5개의 베이스 모델(0.6B ~ 8.2B)을 대상으로 21개 저작물에 대해 수행된 3개 암(arm) 실험.
  - Marked (표기됨): 마크다운 기호가 포함된 원래 구조.
  - Flat (평탄함): 기호는 제거되었으나, "공지" 행(예: "CHAPTER 1")은 순수 텍스트로 유지됨.
  - Silent (침묵): 공지 행을 완전히 삭제하여 오직 단락만 남김.
- 지표: 세 가지 암 간 전환 시 발생하는 예측 난이도(NLL) 및 장거리 정보 이득(information gain)의 변화.
- 결과: 표기법을 교체하는 것(Marked vs. Flat)은 모델 성능에 아무런 영향을 주지 않았다. 공지를 삭제하는 것(Flat vs. Silent)은 이어지는 산문의 예측을 측정 가능할 정도로 어렵게 만들었으며, 이는 모델이 기호가 아닌 공지의 존재에 의존함을 확인시켜 준다.
전방 III: 필자가 무엇을 부과하는가 (생성 테스트):
- 설계: 세 가지 직렬화 방식으로부터 이어진 베이스 모델(그리디 디코딩) 테스트.
- 지표: 구조적 공지나 마크업을 재부과하는 비율.
- 결과: 모델은 표기된 레지스터를 재부과하지 않는다. "순수한" 텍스트(공지가 없는 상태)를 받았을 때, 모델은 이를 다시 생성해내지 않는다. 이는 "표기된 레지스터"가 베이스 모델의 내재적 사전 학습 인벤토리가 아니라, 사후 학습(post-training)의 산물이거나 입력 단서에 대한 반응임을 시사한다.

2. "퓨어 프레임(Pure Frame)" 형식

측정 결과를 바탕으로, 저자는 **퓨어 프레임(Pure Frame)**이라 불리는 새로운 형식을 제안하고 배포한다:

정의: 저술된 순서대로의 단락들이 하나의 빈 줄로 구분됨.
삭제: 모든 구조적 공지 행(제목, 라벨, 러닝 헤드)은 삭제됨.
사이드카(Sidecar): 모든 삭제는 위치 정보와 함께 가역적인 사이드카 파일에 기록되어, 변환 과정이 손실이 없고 감사 가능하도록 보장함.
목표: 경계 추론이 선택 사항이 아닌 필수가 되는 훈련 스트림을 생성하여, 모델이 내용으로부터 담론 구조를 학습하도록 강제함.

3. 검증 테스트

조작(Fabrication) 테스트: 변환기가 산문에 구조를 발명해낼 것이라는 사전 등록된 예측. 결과: 무효(Null). 변환기는 기존의 경계를 충실히 표시하거나 약간 과소 표기할 뿐, 조작을 가하지 않는다.
독자 측 테스트: "공지"가 기호가 아닌 작동하는 단서임을 확인하였다.
필자 측 테스트: 베이스 모델이 표기된 레지스터를 자발적으로 재구성하지 않음을 확인하였다.

주요 결과

표기법의 무효성(The Notation Null): 표기법(예: ## Chapter vs. Chapter)을 바꾸는 것은 아무것도 바꾸지 못한다. 모델의 장거리 문맥 활용은 기호에 불변적이다.
공지 효과(The Announcement Effect): 공지 행(경계를 나타내는 짧은 독립 텍스트)을 제거하면 경계 직후의 예측 난이도가 유의미하게 증가한다. 이 결손은 국소적이며(첫 ~1,000 토큰에 집중), 전체 장(chapter)에 걸쳐 누적되지는 않는다.
공급 희소성(Supply Scarcity): "누락된 형식"(길고 일관되며 마크업이 없는 텍스트)은 희귀하다. 소비자용 트랜스크립트(너무 짧음)나 OCR된 도서(너무 많이 표기됨)에서는 찾을 수 없다. 식별된 유일한 가용 소스는 기관 회의록(예: UK Hansard)으로, 이는 길고 마크업이 없다.
신뢰성 vs. 볼륨(Reliability vs. Volume): 본 논문은 모델이 볼륨(양)이 아니라 신뢰성(단서가 경계를 얼마나 일관되게 예측하는가)에 기반하여 지름길을 학습한다고 주장한다. 충실한 변환기의 구조적 기호는 거의 완벽한 단서(신뢰성 $\approx 0.97$ )이므로, 심층 추론을 우회하는 "지름길"이 된다.

의의 및 주장

본 논문은 코퍼스 구축의 초점을 충실도(문서의 원래 모습을 보존하는 것)에서 역량 훈련(배열이 모델에게 무엇을 가르치는가)으로 전환해야 한다고 주장한다.

"공지"가 단서이다: 작동하는 변수는 특정 마크업 문자가 아니라 공지의 존재이다.
"퓨어 프레임"이 해결책이다: 모델이 기호를 인식하는 것을 넘어 구조를 추론할 수 있도록 훈련하려면, 공지가 제거된 "퓨어 프레임"이 훈련 스트림에 포함되어야 한다.
데이터 카드 요구사항: 저자는 추출기의 정체성, 변환 대상, 그리고 클린 윈도우 생존율( $S(W)$ )을 기록하기 위한 새로운 데이터 카드 필드(Table 10)를 제안한다. 이를 통해 커뮤니티는 자신의 코퍼스에 있는 구조적 단서의 "신뢰성"을 측정하고 제어할 수 있다.
제한적 범위: 저자는 자신의 주장을 서사 및 지속적인 논증 산문으로 명시적으로 제한한다. 기술적 글쓰기나 혼합된 레지스터에서는 기호의 신뢰성이 낮다는 점을 인정한다. 또한 "퓨어 프레임"은 아카이브용 판본이 아니라 훈련 포맷이며, 제안된 개입의 비용은 전체 훈련 예산의 1% 미만인 롱 컨텍스트(long-context) 단계만을 타겟팅하므로 매우 낮다고 언급한다.

결론적으로, 본 논문은 현재의 파이프라인이 의도치 않게 충실도를 최적화함으로써, 모델이 표면적 단서에 의존하게 만드는 분포를 만들어냈다고 주장한다. 제안된 "퓨어 프레임"은 견고한 장거리 구조 이해에 필요한 추론 요구를 다시 도입하기 위해 설계된 반복 가능한 연산자이다.