Speech-to-LaTeX: New Models and Datasets for Converting Spoken Equations and Sentences

이 논문은 영어와 러시아어 수학 식 및 문장을 라텍스로 변환하는 첫 번째 대규모 오픈 소스 데이터셋과 모델을 제안하여, 기존 방법론의 한계를 극복하고 수학 콘텐츠 인식 분야에서 새로운 벤치마크를 수립했습니다.

핵심

이 논문은 **"말하는 수학을 읽어서, 컴퓨터가 이해할 수 있는 수식 (LaTeX) 으로 바꿔주는 기술"**에 대한 연구입니다.

마치 수학 선생님의 강의를 녹음해서, 그 내용을 그대로 깔끔한 수식 노트로 정리해주는 비서를 만든다고 생각하면 됩니다. 하지만 이 비서는 단순히 말을 글로 바꾸는 게 아니라, "x 제곱에 y 더하기" 같은 말을 듣고 \sqrt{x^2 + y} 같은 복잡한 수식 기호로 정확히 변환해야 하는 아주 까다로운 일을 합니다.

이 연구의 핵심 내용을 쉬운 비유로 설명해 드릴게요.

1. 왜 이 연구가 필요할까요? (문제 상황)

기존의 음성 인식 기술 (ASR) 은 "안녕하세요" 같은 일상 대화는 잘 알아듣지만, 수학 수식 같은 전문적인 내용은 엉망으로 알아듣는 경우가 많습니다.

• 예시: "kappa"라고 말하면, 컴퓨터는 \kappa (κ) 라고 쓸지, \varkappa (ϰ) 라고 쓸지, 아니면 그냥 알파벳 'k'로 쓸지 헷갈려 합니다.
• 기존의 한계: 이전 연구들은 데이터가 부족하거나, 영어만 지원하거나, 사람이 직접 녹음한 데이터가 거의 없어서 모델을 훈련시키기 어려웠습니다.

2. 이 연구가 해결한 것들 (해결책)

A. 거대한 "수학 말하기" 도서관 만들기 (데이터셋)

이 연구팀은 전 세계 수학 강의를 모으는 대신, 인공지능과 사람을 동원해서 거대한 데이터베이스를 만들었습니다.

• 인간 교정: 33 명의 사람이 6 만 6 천 개 이상의 수식을 직접 읽어서 녹음했습니다. (다양한 목소리와 억양을 담기 위함)
• AI 확장: 이 데이터를 바탕으로 AI 가 57 만 개 이상의 추가 음성을 만들어냈습니다. 마치 레시피를 하나 만들고, 그걸로 수만 가지의 변형 요리를 만들어내는 것처럼 데이터를 불린 거죠.
• 결과: 이제 영어와 러시아어 모두에서 다양한 수식과 문장을 학습할 수 있는 거대한 "수학 말하기 도서관"이 생겼습니다.

B. 두 가지 다른 방식의 비서 테스트 (모델 비교)

연구팀은 이 데이터를 가지고 두 가지 방식으로 수식을 변환하는 비서를 훈련시켰습니다.

1. 2 단계 방식 (ASR 후 교정):
   • 먼저 음성 인식기로 말을 글로 바꾸고 (예: "x 제곱"), 그 글자를 AI 에게 보여줘서 수식으로 바꿔달라고 요청합니다.
   • 비유: 통역사가 말을 글로 적어주고, 그 글을 수학 선생님이 다시 수식으로 고쳐주는 방식입니다.
2. 한 번에 끝내는 방식 (멀티모달 AI):
   • 소리를 직접 듣고 수식으로 변환합니다. 중간에 글자를 거치지 않습니다.
   • 비유: 소리를 듣는 순간 바로 수식 노트를 써내는 천재 비서입니다.

3. 어떤 결과가 나왔나요? (성과)

• 기존 기술과의 비교: 기존에 있던 'MathSpeech'라는 모델은 수식을 변환할 때 64% 정도를 틀렸습니다. 하지만 이 연구팀이 만든 모델은 27% 정도로 훨씬 정확도가 높아졌습니다. (틀린 부분이 64% 에서 27% 로 줄어든 것)
• 문장 속 수식: 단순히 수식 하나만 말하는 게 아니라, "이 함수의 극한은 0 으로 수렴합니다" 같은 문장 전체에서 수식을 찾아내는 것도 가능해졌습니다.
• SALMONN 이 최고: 여러 모델 중 'SALMONN'이라는 멀티모달 모델이 가장 잘 작동했습니다. 소리를 직접 이해하는 능력이 뛰어나서 중간에 글자로 바꾸는 과정에서 생기는 실수를 줄였기 때문입니다.

4. 이 기술이 어디에 쓰일까요?

• 강의 자동 정리: 수학 강의를 녹음하면, 교수님이 말한 내용을 그대로 깔끔한 수식 노트로 바꿔줍니다.
• 연구 보조: 과학자가 실험 결과를 말로 설명하면, 자동으로 논문 작성에 필요한 수식 형식으로 바꿔줍니다.
• 시각 장애인 지원: 수식 파일을 소리 내어 읽어주는 것뿐만 아니라, 소리를 듣고 수식 파일을 만들어주는 역방향 지원도 가능해집니다.

요약하자면

이 논문은 **"수학이라는 난해한 언어를 말로 전달할 때 생기는 오해를 없애고, AI 가 그 소리를 완벽하게 수식 노트로 바꿔주는 새로운 표준"**을 만들었습니다. 마치 수학의 바벨탑 (언어 장벽) 을 허물고, 말과 수식을 자유롭게 오가게 해주는 다리를 놓은 것과 같습니다.

이제 앞으로는 수학 강의를 들을 때, "이거 뭐라고 썼지?"라고 고민할 필요 없이 AI 가 알아서 깔끔한 수식으로 정리해 줄 날이 머지않았습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 자동 음성 인식 (ASR) 과 언어 모델 (LM) 은 일반 음성 처리에서는 뛰어난 성능을 보이지만, 구두로 표현된 수학 식 (Spoken Mathematical Expressions) 을 구조화된 심볼릭 표현 (LaTeX) 으로 변환하는 작업에서는 한계를 보입니다.

• 모호성 (Ambiguity): 수학 용어의 발음은 문맥에 따라 여러 LaTeX 형식으로 해석될 수 있습니다 (예: "kappa"는 \kappa 또는 \varkappa가 될 수 있음, "one over x plus two"는 1/x + 2 또는 1/(x+2) 등).
• 기존 연구의 한계:
  • MathSpeech (Hyeon et al., 2025b): 두 개의 ASR 전사 (transcription) 를 필요로 하며, 고립된 방정식 (isolated equations) 만 처리하고 문장 단위 (sentences) 는 지원하지 않음.
  • 데이터 부족: 공개된 대규모 학습 데이터셋이 부재하며, 기존 데이터셋 (MathBridge 등) 은 TTS(음성 합성) 로 생성된 저품질 데이터이거나 훈련 데이터가 공개되지 않음.
  • 다국어 지원 부재: 영어와 러시아어를 모두 포괄하는 데이터와 모델이 없음.

2. 주요 기여 (Key Contributions)

이 논문은 다음과 같은 세 가지 핵심 기여를 제시합니다.

1. 대규모 오픈 소스 데이터셋 (S2L Dataset) 공개:

   • 구성: 영어와 러시아어로 된 66,000 개 이상의 인간 주석 (Human-annotated) 오디오 샘플과 571,000 개의 합성 (TTS) 오디오 샘플을 포함하는 최초의 대규모 오픈 소스 데이터셋입니다.
   • 세부 구성:
     • S2L-equations: 고립된 수학 식 10,700 개 이상.
     • S2L-sentences: 문맥이 포함된 수학 문장 12,000 개 이상.
   • 다양성: 33 명의 주석자가 다양한 억양과 발화 스타일을 반영했으며, GPT-4 를 활용하여 다양한 수학 분야 (미적분, 양자역학 등) 의 데이터를 생성하여 확장했습니다.

2. 다양한 S2L 방법론 제안 및 평가:

   • ASR 후처리 (Post-correction): Whisper 등 고성능 ASR 로 음성을 텍스트로 변환한 후, 미세 조정 (Fine-tuning) 된 LLM(Qwen2.5 시리즈) 을 사용하여 LaTeX 로 변환하는 파이프라인.
   • 멀티모달 엔드 - 투 - 엔드 (End-to-End): 오디오 언어 모델 (Audio-LLM, 예: SALMONN) 을 사용하여 원본 오디오를 직접 LaTeX 로 변환하는 접근법.
   • Few-shot Prompting: 학습 없이 프롬프트만으로 수행하는 성능 평가.

3. 새로운 벤치마크 및 평가 지표:

   • 수학 문장 인식 (S2L-sentences) 을 위한 최초의 벤치마크를 수립했습니다.
   • 단순 문자 오류율 (CER) 외에도 LaTeX 구조를 고려한 TeXBLEU 지표를 활용하여 평가의 정확성을 높였습니다.

3. 방법론 (Methodology)

데이터 수집 및 전처리

• 소스: MathBridge, TextTeller, Proof-Pile-2, LRS3 등 다양한 소스에서 데이터를 수집했습니다.
• 정제 (Normalization): KaTeX 를 사용하여 LaTeX 식을 정규화하고, 컴파일 가능한지 검증하여 불일치를 제거했습니다.
• 주석: 인간 주석 (Crowdsourcing) 과 합성 음성 (XTTSv2, SaluteSpeech 등) 을 병행하여 데이터의 양과 다양성을 확보했습니다.

모델 아키텍처

1. ASR 후처리 파이프라인:
   • ASR: Whisper-Large-v3 가 수학 기호 인식에 가장 우수하여 이를 고정 (Frozen) 하고 사용.
   • LLM: Qwen2.5 (0.5B, 1.5B, 7B) 및 Qwen2.5-Math 모델을 미세 조정하여 ASR 의 전사 오류를 수정하고 LaTeX 로 변환.
2. 멀티모달 엔드 - 투 - 엔드:
   • SALMONN-13B: Whisper 와 BEATs 인코더를 사용하여 오디오 특징을 추출하고, Q-former 를 통해 LLaMA 기반 디코더에 주입하는 방식.
   • 기타 모델: Qwen-Audio, Gemma-3n, Audio Flamingo-3 등 다양한 Audio-LLM 을 비교 평가.

평가 지표

• CER (Character Error Rate): 문자 단위 오류율 (소문자 기준).
• TeXBLEU: LaTeX 문법 구조를 고려한 BLEU 변형 지표.
• 분할 전략: 훈련 데이터와 테스트 데이터의 방정식이 완전히 겹치지 않는 Disjoint Split을 사용하여 모델의 일반화 능력을 검증.

4. 실험 결과 (Results)

S2L-equations (고립된 방정식)

• 성능: SALMONN-13B 모델이 **CER 17.5%**로 가장 우수한 성능을 보였습니다.
• 비교: 기존 MathSpeech 모델은 동일한 벤치마크에서 **CER 64%**의 낮은 성능을 보였으며, 제안된 모델들은 이를 36% 이상 크게 개선했습니다.
• 데이터 영향: 합성 데이터 (TTS) 와 인간 데이터를 혼합 (Mix) 하여 학습했을 때 성능이 가장 좋았으며, 400k 개의 추가 MathBridge 데이터를 포함하면 영어 테스트에서 성능이 더욱 향상되었습니다.

S2L-sentences (수학 문장)

• 난이도: 문장 내 포함된 수학 식을 인식하는 것은 고립된 식보다 훨씬 어렵습니다 (CER 39.7% vs 17.5%).
• 최고 성능: SALMONN-13B 가 문장 내 식 부분에서 **CER 39.7%**를 기록하여 가장 좋은 성능을 보였습니다.
• Few-shot vs Fine-tuning: Few-shot 프롬핑팅 (5-shot, 25-shot) 은 미세 조정된 모델보다 성능이 현저히 낮았습니다.

다국어 및 일반화

• 영어와 러시아어 모두에서 모델이 효과적으로 작동했으며, 다국어 학습이 특정 언어의 성능 향상에 기여하는 경우가 많았습니다.
• 합성 데이터로 학습된 모델이 인간 음성 테스트에서도 좋은 일반화 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 교육 및 연구 분야 적용: 강연 자동 전사, 멀티모달 어시스턴트 개발, 과학적 노트 작성 등 교육 및 연구 분야에서 실용적인 도구 제공.
• 데이터 부족 해소: 수학 음성 인식 분야에서 오랫동안 부족했던 대규모 고품질 오픈 소스 데이터셋을 공개하여 향후 연구의 기반을 마련했습니다.
• 기술적 진보: 단순한 ASR 을 넘어, 문맥과 심볼릭 구조를 이해하는 엔드 - 투 - 엔드 멀티모달 모델의 가능성을 입증했습니다.
• 한계 및 향후 과제: 실제 강의 환경의 복잡성 (파라프레이징, 시각 자료와의 결합) 을 완전히 반영하지는 못했으므로, 향후 실제 강의 녹음 데이터 수집 및 오디오 - 비주얼 결합 연구가 필요함을 지적했습니다.

이 논문은 Speech-to-LaTeX 변환 기술의 새로운 기준 (Baseline) 을 설정하고, 오픈 소스 데이터와 모델을 통해 해당 분야의 연구 속도를 가속화할 것으로 기대됩니다.