LaTeX Compilation: Challenges in the Era of LLMs

이 논문은 LLM 시대에 TeX 의 한계를 분석하고, 더 효율적인 데이터 구조와 렌더링을 제공하는 WYSIWYG 구조화 편집기인 Mogan STEM 과 그 문서 형식 (.tmu) 이 컴파일 성능 향상과 LLM 미세조정 효율성 증대 측면에서 TeX 보다 우월함을 실험을 통해 입증하며, 향후 .tmu 형식을 활용한 대규모 LLM 학습 실험을 촉구합니다.

핵심

📜 핵심 비유: "레고 조립" vs "디지털 블록"

이 논문의 핵심은 두 가지 문서 작성 방식을 비교하는 것입니다.

1. LaTeX (라텍): 마치 종이로 된 레고 설명서를 보고 조립하는 것과 같습니다.

   • 당신은 설명서 (코드) 를 한 줄씩 읽어야 합니다.
   • "여기에 빨간 블록을 붙여라"라고 적혀 있으면, 그 블록이 실제로 어디에 붙을지, 다른 블록과 충돌할지 알기 위해 종이 전체를 처음부터 다시 읽어야 합니다.
   • 실수가 하나라도 있으면, 설명서 전체가 무너져 내리고 (컴파일 오류), "어디서부터 잘못된 건지"를 찾기 위해 설명서 전체를 뒤져야 합니다.
   • 문제점: 인공지능 (LLM) 이 이 설명서를 읽을 때, "이 블록이 어디에 붙을지"를 예측하기가 매우 어렵고, 설명서 자체가 너무 길고 복잡해서 (토큰 비용 증가) 비효율적입니다.

2. Mogan STEM (모간 스템): 마치 스마트폰에서 조립하는 디지털 레고와 같습니다.

   • 블록을 놓는 순간, 그 위치와 모양이 즉시 화면에 나타납니다 (WYSIWYG).
   • 한 블록을 옮기면 그 주변만 자동으로 재배치됩니다. 전체를 다시 조립할 필요가 없습니다.
   • 장점: 인공지능이 이 구조를 보면, "이 블록은 저기 있고, 저 블록은 여기 있다"는 것을 즉시 파악할 수 있어 훨씬 똑똑하고 빠르게 작동합니다.

---

🔍 논문이 지적하는 LaTeX 의 3 가지 치명적인 결함

1. "한 번에 다 봐야 하는" 비효율 (Batch Processing)

• LaTeX: 문서를 수정하면 (예: 1 페이지에 글자 하나만 추가), 문서 전체를 처음부터 다시 계산해야 합니다. 마치 책을 한 장만 수정했는데, 책장 전체를 다시 제본해야 하는 꼴입니다.
• Mogan: 수정된 부분만 다시 그립니다. 마치 디지털 문서에서 글자를 지우면 그 자리만 비워지는 것과 같습니다.

2. "어디서 잘못됐는지 모호한" 오류 (Error Localization)

• LaTeX: 10 페이지에 있는 괄호를 하나 닫지 않았는데, 오류 메시지는 50 페이지의 "컴파일 실패"라고 뜹니다. 진짜 원인과 오류 위치가 너무 멀어서 고치기가 매우 힘듭니다.
• Mogan: 괄호를 닫지 않으면, 그 자리에서 바로 빨간색으로 표시되어 "여기서 문제가 생겼어!"라고 알려줍니다.

3. "인공지능이 읽기 힘든" 구조 (Token Cost & Entropy)

• LaTeX: 같은 모양을 만들더라도 코드를 쓰는 방식이 천차만별입니다. (예: a^2 와 x^{2}는 같은 의미지만 코드는 다름). 인공지능은 이 수많은 변형을 다 외워야 하므로 공부할 게 너무 많고 (정보 엔트로피 높음), 예측도 어렵습니다.
• Mogan: 모든 것이 **정해진 규칙 (트리 구조)**으로 되어 있습니다. 인공지능은 "이건 분수, 저건 적분"이라고 명확하게 구분할 수 있어 학습과 추론이 훨씬 빠르고 정확합니다.

---

🚀 Mogan STEM 이 왜 더 좋은가?

이 논문은 Mogan STEM이라는 새로운 도구를 소개하며 다음과 같은 장점을 강조합니다.

1. 눈에 보이는 대로 (WYSIWYG): 코드를 몰라도 화면을 보고 바로 작성할 수 있습니다.
2. 빠른 속도: 문서를 열거나 수정할 때 기다릴 필요가 없습니다.
3. 인공지능 친화적: 문서 구조가 나무 (Tree) 형태라, 인공지능이 내용을 이해하고 다음 단어를 예측하기 매우 쉽습니다.
4. 가벼운 설치: LaTeX 는 설치할 때 6GB 이상의 거대한 파일을 다운로드해야 하지만, Mogan 은 100MB 정도만 설치하면 바로 쓸 수 있습니다. (필요한 기능만 그때그때 불러옵니다.)

---

📊 실험 결과: 숫자로 증명된 우위

저자들은 여러 실험을 통해 Mogan 이 LaTeX 를 압도한다고 주장합니다.

• 컴파일/렌더링 속도: 대부분의 문서에서 Mogan 이 훨씬 빠릅니다. (LaTeX 는 문서가 길어질수록 속도가 급격히 느려집니다.)
• LLM 작업 성능: 인공지능이 문서 구조를 찾거나, 서로 다른 스타일의 문서를 합칠 때, Mogan 형식을 사용하면 인공지능의 실수가 줄고 속도가 빨라집니다.
• 학습 효율 (Fine-tuning): 인공지능을 학습시킬 때, Mogan 형식 (.tmu) 으로 학습시키면 오류가 훨씬 적게 발생하고 더 빠르게 학습합니다. (LaTeX 는 코드가 너무 복잡해서 인공지능이 헷갈리기 때문입니다.)

---

💡 결론: "과거의 표준"에서 "미래의 표준"으로

이 논문의 결론은 간단합니다.

"LaTeX 는 1970 년대 컴퓨터 환경에 맞춰 만들어진 훌륭한 도구였지만, 인공지능이 모든 것을 도와주는 오늘날에는 너무 무겁고 비효율적입니다. 우리는 이제 인공지능이 더 잘 이해하고, 사람이 더 편하게 쓸 수 있는 'Mogan STEM'과 같은 새로운 구조로 넘어가야 합니다."

마치 **편지 (LaTeX)**를 쓰느라 우편물 처리를 위해 복잡한 규정을 따르느라 고생하던 시절에서, **이메일 (Mogan)**처럼 즉시 전송되고 자동으로 정리되는 시대로 넘어가는 것과 같은 변화입니다.

기술 요약

논문 요약: LLM 시대의 LATEX 컴파일링의 한계와 Mogan STEM 의 대안

이 논문은 대규모 언어 모델 (LLM) 이 과학적 저술을 보조하는 시대에 LATEX(및 그 기반인 TEX) 시스템이 겪고 있는 근본적인 설계 결함과 사용자 경험의 한계를 분석합니다. 저자들은 LATEX 의 배치 처리 (batch processing) 방식과 약한 의미론적 표현이 현대적인 상호작용 및 LLM 학습에 부적합함을 지적하고, 이를 대체할 수 있는 구조화된 WYSIWYG 편집기인 Mogan STEM을 소개합니다.

1. 문제 정의 (Problem)

LATEX 는 1970 년대 컴퓨팅 환경에서 설계된 배치 처리 모델에 기반하고 있어, 현대의 상호작용적 작성 환경과 LLM 시대의 요구사항을 충족하지 못합니다. 주요 문제는 다음과 같습니다.

• 배치 처리 및 지연 피드백: LATEX 는 전역 상태 (교차 참조, 목차, 페이지 번호 등) 를 결정하기 위해 여러 번의 컴파일 (multi-pass) 이 필요합니다. 로컬 수정 시에도 전체 문서가 다시 렌더링되어야 하며, 오류 발생 시 즉시 시각적 피드백을 제공하지 못합니다.
• 의미론적 결합 (Semantic Coupling): 구문 분석, 매크로 확장, 의미론적 해석, 레이팅 결정이 명확하게 분리되지 않고 단일 실행 경로에 강하게 결합되어 있습니다. 이로 인해 정적 분석 도구 (AST 생성 등) 가 문서 구조를 파악하기 어렵고, LLM 이 문서 구조를 이해하는 데 비효율적입니다.
• 오류 탐지의 비효율성: 오류 발생 시 실제 원인과 오류 메시지가 표시된 위치가 일치하지 않는 경우가 많으며 (예: 닫히지 않은 괄호로 인해 나중에 발생하는 오류), 디버깅이 매우 어렵습니다.
• 호환성 및 생태계 분열: pdfLaTeX, XeLaTeX, LuaLaTeX 등 엔진 간의 차이로 인해 동일한 소스 코드가 다른 결과를 낳거나 실행되지 않을 수 있으며, 복잡한 의존성 관리가 필요합니다.
• LLM 학습의 비효율성: LATEX 코드는 정보 엔트로피가 높고 (동일한 렌더링 결과에 다양한 문법 존재), 구조적 일관성이 부족하여 LLM 의 미세 조정 (Fine-tuning) 및 추론 효율을 저하시킵니다.

2. 방법론 (Methodology)

저자들은 LATEX 의 대안으로 Mogan STEM(GNU TeXmacs 기반의 WYSIWYG 구조화된 편집기) 을 제안하고, 다음과 같은 아키텍처적 차이를 통해 문제를 해결합니다.

• 트리 기반 문서 구조 (Tree-based Structure): LATEX 의 선형 텍스트/매크로 스트림과 달리, Mogan 은 문서와 수식을 Scheme 기반의 트리 구조 (Tree structure) 로 표현합니다. (예: 분수는 (frac "1" "2") 형태의 트리 노드로 표현됨).
• 점진적 렌더링 및 로컬 스코핑: 트리 구조를 통해 로컬 수정 시 해당 노드와 자식 노드만 다시 렌더링되며, 전체 문서의 레이아웃 붕괴를 방지합니다.
• 온디맨드 플러그인 로딩: TeX Live 와 같은 거대한 설치 패키지와 달리, Mogan 은 필요한 기능만 런타임에 동적으로 로드하여 설치 크기를 최소화합니다.
• 실험 설계:
  1. 컴파일/렌더링 속도 비교: 6 개의 arXiv 논문을 대상으로 전체 컴파일 및 증분 업데이트 (incremental update) 시간을 측정.
  2. LLM 태스크 성능 평가: 문서 구조 파악, 서로 다른 문서 스타일 (doc-style) 병합, 오류 디버깅 태스크에서 LATEX(.tex) 와 Mogan(.tmu) 포맷의 LLM 성능 비교.
  3. 미세 조정 (Fine-tuning) 효율성: Qwen2.5-7B 모델을 사용하여 LATEX 와 Mogan(S-expression) 수식 데이터로 LoRA 미세 조정 실험 및 손실 (Loss) 수렴 비교.

3. 주요 기여 (Key Contributions)

• LATEX 설계 결함에 대한 체계적 분석: LATEX 가 LLM 시대에 직면한 컴파일 효율성, 의미론적 표현, 오류 국소화, 도구 생태계의 한계를 기술적으로 규명했습니다.
• Mogan STEM 의 기술적 우위 입증: 트리 기반 구조가 제공하는 빠른 렌더링, 점진적 업데이트, 명확한 오류 메시지를 통해 LATEX 를 능가하는 성능을 입증했습니다.
• LLM 학습을 위한 최적 포맷 제안: Mogan 의 .tmu 포맷이 LATEX 의 .tex 포맷보다 정보 엔트로피가 낮고 구조적 일관성이 높아, LLM 의 미세 조정 및 추론에 더 효율적임을 실험적으로 증명했습니다.
• 새로운 표준에 대한 호소: LLM 기반 과학 저술 및 학습을 위해 LATEX 대신 구조화된 포맷 (Mogan) 의 사용을 장려합니다.

4. 실험 결과 (Results)

• 컴파일/렌더링 속도:
  • 전체 컴파일: 대부분의 문서에서 Mogan STEM 이 LATEX 보다 빠르거나 유사한 성능을 보였습니다. (단, 120 페이지 이상의 매우 큰 문서에서는 I/O 오버헤드로 인해 LATEX 가 약간 더 빠를 수 있음).
  • 증분 업데이트: Mogan STEM 이 압도적으로 우수했습니다. LATEX 는 작은 변경에도 전체 재컴파일이 필요하지만, Mogan 은 변경된 트리 노드만 렌더링하여 지연 시간을 획기적으로 줄였습니다.
• LLM 태스크 성능:
  • 구조 파악: Mogan 파일에서 LLM 이 문서 구조 (섹션 번호, 페이지 번호 등) 를 더 빠르고 정확하게 파악했습니다.
  • 문서 병합: 서로 다른 매크로 스타일을 가진 문서를 병합할 때, Mogan 은 일관된 문법 구조 덕분에 LLM 의 할루시네이션과 오류를 줄이고 성공률을 높였습니다.
  • 오류 디버깅: LATEX 는 긴 로그와 불명확한 오류 메시지로 인해 LLM 이 디버깅하는 데 많은 토큰을 소모했으나, Mogan 은 명확한 트리 기반 오류 위치를 제공하여 LLM 이 즉시 수정할 수 있었습니다.
• 미세 조정 (Fine-tuning) 효율성:
  • Qwen2.5-7B 모델을 이용한 LoRA 실험 결과, Mogan 데이터셋의 손실 (Loss) 이 약 0.4로 수렴한 반면, LATEX 데이터셋은 0.7 수준으로 수렴했습니다. 이는 Mogan 의 S-expression 이 더 낮은 정보 엔트로피를 가지며, 모델이 다음 토큰을 예측하는 데 더 명확한 문맥을 제공하기 때문입니다.

5. 의의 및 결론 (Significance)

이 논문은 LATEX 가 과거의 성공적인 도구임에도 불구하고, 현대의 상호작용적 작성 환경과 AI 기반 저술 도구의 발전에 발맞추지 못하는 구조적 한계를 가지고 있음을 지적합니다.

• 기술적 전환의 필요성: LATEX 의 배치 처리 모델은 현대적인 실시간 피드백과 LLM 의 정밀한 구조 이해에 적합하지 않으며, 트리 기반의 구조화된 편집기로의 전환이 필수적입니다.
• LLM 학습의 효율성: .tmu 와 같은 구조화된 포맷은 LLM 의 학습 비용을 줄이고 성능을 향상시킬 수 있는 잠재력을 가지므로, 향후 LLM 기반 과학적 저술 시스템의 표준으로 고려되어야 합니다.
• 생태계 변화: Overleaf 와 같은 플랫폼이 LATEX 의 사용성을 개선하고 있지만, 근본적인 아키텍처의 한계를 해결하지는 못합니다. Mogan STEM 과 같은 차세대 도구의 등장은 과학적 커뮤니케이션의 효율성을 혁신할 수 있는 기회를 제공합니다.

결론적으로, 이 연구는 LATEX 의 역사적 가치를 인정하면서도, AI 시대의 요구에 부응하기 위해 문서 편집 및 렌더링 패러다임을 선형 매크로 처리에서 구조화된 트리 렌더링으로 전환해야 함을 강력하게 주장합니다.