💬 NLP

FMBench: Adaptive Large Language Model Output Formatting

이 논문은 적응형 마크다운 포맷팅에 대한 대규모 언어 모델의 성능을 평가하기 위한 벤치마크인 FMBench를 소개하며, 구조적 준수성을 높이는 동시에 의미적 충실도 사이의 균형을 맞추기 위해 지도 미세 조정과 강화 학습을 결합한 경량 정렬 파이프라인을 제안한다.

원저자: Yaoting Wang, Yun Zhou, Henghui Ding

게시일 2026-02-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yaoting Wang, Yun Zhou, Henghui Ding

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 수다스러운 로봇 비서가 있다고 상상해 보세요. 당신이 질문을 던지면, 이 로봇은 보통 올바른 사실을 담은 훌륭한 답변을 내놓습니다. 하지만 가끔, 그 사실들을 제시하는 방식이 엉망진창일 때가 있습니다. 벽돌을 무질서하게 쌓아 놓은 듯한 목록을 만들거나, 열이 맞지 않는 표를 만들거나, 코드 블록을 닫는 것을 잊어버리기도 합니다. 사람에게는 그저 조금 지저분해 보일 뿐이지만, 나중에 그 답변을 읽어야 하는 컴퓨터 프로그램에게는 완전히 재앙과도 같습니다.

이 논문인 FMBench는 이 로봇들에게 단순히 똑똑해지는 법뿐만 아니라, 깔끔하고 조직적으로 행동하는 법을 가르치는 것에 관한 이야기입니다.

다음은 이들의 연구 내용을 몇 가지 간단한 비유를 들어 정리한 것입니다.

1. 문제점: "어질러진 방"

저자들은 AI 모델들이 무엇을 말할지(내용)는 잘 알지만, 마크다운(Markdown)(텍스트를 굵게 만들거나, 목록을 만들고, 표와 코드 블록을 만드는 데 사용되는 언어)이라는 특정 형식을 따르는 방식(형식)에는 자주 실패한다는 점을 발견했습니다.

비유: 맛있는 요리(내용)를 만들었지만, 더러운 접시에 담아 내놓고, 테이블에 소스를 흘리고, 스테이크를 써는 것을 잊어버린 요리사를 상상해 보세요. 음식의 맛은 좋지만, 제대로 먹을 수가 없습니다.
문제점: 이러한 형식 오류는 (쉼표 하나가 빠지는 것과 같이) "작은" 문제처럼 보이지만, 나중에 그 답변을 읽어야 하는 "기계"들을 고장 냅니다.

2. 해결책: "FMBench" 체육관

이를 해결하기 위해 팀은 FMBench라고 불리는 특별한 훈련장을 구축했습니다.

정체: 이것은 "정리 기술"만을 위한 전용 체육관이라고 생각하면 됩니다. 로봇에게 단순히 수학 문제를 풀라고 요구하는 대신, 엄격한 규칙을 따르며 문제를 풀도록 요구합니다. 예: "목록에 항목을 세 개 넣을 것", "코드를 상자 안에 넣을 것", "제목 레벨을 3단계로 사용할 것".
데이터: 그들은 1,100개의 연습 문제를 만들었습니다. 실제 문서(학술 논문이나 비즈니스 보고서 등)를 가져와서 깔끔하게 정리한 뒤, AI에게 이를 완벽한 마크다운 구조로 다시 쓰도록 요청했습니다. 그 후 인간이 작업물을 검토하여 실제로 내용이 훌륭한지 확인했습니다.

3. 훈련 방법: "배우고, 다듬기"

논문은 엉망인 로봇을 깔끔한 로봇으로 바꾸기 위한 2단계 훈련 레시피를 제안합니다. 이 과정은 실제 대화 중에 딱딱한 컴퓨터 코드로 강제하지 않고도 수행됩니다.

1단계: 지도 미세 조정(SFT) - "따라 하기 단계"
- 비유: 이것은 로봇에게 완벽하고 깔끔하게 정리된 에세이 뭉치를 보여주며 "이 스타일을 따라 해봐"라고 말하는 것과 같습니다. 로봇은 그 구조를 모방하는 법을 배웁니다.
- 결과: 로봇은 지시사항의 의미를 이해하고 사실 관계를 정확하게 유지하는 능력이 훨씬 좋아집니다.
2단계: 강화 학습(RL) - "코치의 휘슬"
- 비유: 이제 로봇이 글을 쓸 줄 알게 되면, "코치"(자동화된 시스템)가 이를 지켜봅니다. 만약 로봇이 깨진 목록을 작성하면 코치는 "엄지 아래로(싫어요)"를 줍니다. 만약 완벽한 표를 작성하면 코치는 "엄지 위로(좋아요)"를 줍니다. 로봇은 계속해서 다시 시도하며, "엄지 아래로"를 피하고 "엄지 위로"를 쫓는 법을 배웁니다.
- 결과: 이 단계는 로봇을 훨씬 더 강건하게(robust) 만듭니다. 로봇은 형식을 지키기 까다로운 복잡한 지시사항을 처리하는 법을 배우며, 최종 출력이 구조적으로 완벽하도록 보장합니다.

4. 발견: "줄타기"

연구진은 흥eli로운 사실을 발견했습니다: 똑똑한 것과 깔끔한 것은 서로 다른 기술이라는 점입니다.

비유: 줄타기를 한다고 상상해 보세요. 만약 풍경(내용/의미)을 보는 데 너무 집중하면 줄(구조)에서 발을 헛디딜 수 있습니다. 반대로 줄에만 너무 집중하면 풍경을 보는 것을 잊을 수 있습니다.
발견: "따라 하기" 단계(SFT)는 로봇을 내용 면에서 더 똑똑하게 만들었습니다. "코치" 단계(RL)는 로봇을 구조 면에서 더 뛰어나게 만들었습니다. 하지만 한쪽을 너무 강하게 밀어붙이면 다른 쪽이 저하될 수 있습니다. 가장 좋은 결과는 두 단계의 균형 잡힌 조합, 특히 더 크고 강력한 로봇을 사용할 때 나타났습니다.

5. 결론

논문은 AI가 진정으로 실용적이 되기 위해서는(컴퓨터가 답변을 읽어야 하는 환경에서), 단순히 AI가 "똑똑하기"만을 기대해서는 안 된다고 결론짓습니다. 우리는 AI에게 조직적으로 행동하는 법을 명시적으로 가르쳐야 합니다.

그들은 이 2단계 훈련법(따라 하기 + 코치)을 사용함으로써, 다양한 유형의 로봇(작은 것부터 큰 것까지)이 사실적으로 정확하면서도 완벽하게 형식이 갖춰진, 즉 인간이 읽고 컴퓨터가 처리할 준비가 된 답변을 생성할 수 있음을 보여주었습니다. 그들은 자신들의 "체육관"(FMBench)과 "훈련 매뉴얼"을 다른 이들도 사용할 수 있도록 공개했습니다.

기술 요약: FMBench: 적응형 대규모 언어 모델 출력 포맷팅

문제 정의

대규모 언어 모델(LLM)은 자연어 지시사항을 따르고 의미론적으로 일관된 응답을 생성하는 데 강력한 능력을 입증해 왔으나, 프로덕션 환경에서 요구되는 엄격한 출력 포맷 제약 조건을 준수하는 데는 자주 실패한다. 특히, 챗 어시스턴트, 문서화, 도구 증강 파이프라인의 사실상 표준인 마크다운(Markdown)은 미묘하지만 치명적인 구조적 오류에 취약하다. 이러한 오류에는 깨진 중첩 리스트, 잘못된 형식의 테이블, 일관되지 않은 헤딩 계층 구조, 균형이 맞지 않는 코드 블록 등이 포함된다. 이러한 오류는 토큰 수준에서는 미미할 수 있으나, 다운스트림 사용성, 파싱 신뢰성 및 인간의 가독성을 불균형하게 저하시킨다.

기존 방식들은 다음과 같은 상당한 한계에 직면해 있다:

프롬프트 엔지니어링(Prompt Engineering): 문구와 맥락에 매우 민다하며, 종종 견고성이 부족하다.
제약 조건 디코딩(Constrained Decoding): 구문적 유효성을 보장하지만, 추론 오버헤드를 발생시키며, 특히 하이브리드 출력의 경우 모델의 토큰화 또는 의미론적 유창성과 충돌할 수 있다.
지도 미세 조정(Supervised Fine-Tuning, SFT): 학습 데이터의 표면적인 규칙성에 과적합되는 경우가 많으며, 강건하고 맥락을 인식하는 포맷팅 원칙을 학습하지 못한다.
강화 학습(Reinforcement Learning, RL): 유망하지만, 기존 방법들은 유연성이 부족한 작업 특정적 보상 설계나 경직된 규칙 정의에 의존하는 경우가 많다.

또한, 현재의 벤치마크들은 마크다운 설정을 고립시켜 평가하지 못하므로, 현실적인 지시 이행 시나리오 하에서의 포맷팅 실패를 진단하기 어렵다. 의미론적 정확성과 구조적 준수 사이의 균형을 맞춘 집중적인 평가 프레임워크가 부족한 실정이다.

방법론

1. FMBench: 마크다운 포맷팅을 위한 벤치마크

저자들은 현실적인 지시 이행 설정 하에서 적응형 마크다운 출력 포맷팅을 평가하기 위해 설계된 벤치마크인 FMBench를 소개한다.

데이터 구축 파이프라인: 고품질의 엄격하게 포맷팅된 데이터를 생성하기 위해 4단계의 반자동 파이프라인을 사용한다:
1. 문서 크롤링(Document Crawling): 8개 도메인(학술, 법률, 기술 등)에서 원시 문서를 수집한다.
2. 문서 정제(Document Cleaning): 노이즈를 표준화하고 제거한다.
3. LLM 포맷팅(LLM Formatting): 다양한 난이도 수준에서 구조화된 데이터를 생성하기 위해 세 가지 포맷팅 규칙을 적용한다.
4. 인간 정제(Human Refining): 문법을 교정하고 스타일을 다듬으며 구조적 준수를 보장하기 위해 전문가 검토를 거친다.
데이터셋 구성: 이 데이터셋은 1,100개의 고품질 마크다운 문서(학습용 800개, 테스트용 300개)를 포함한다. 복잡도는 섹션의 수가 아닌 중첩 리스트의 깊이와 항목 수에 의해 결정되는 균형 잡힌 구조적 설계를 특징으로 한다.
평가 지표:
- 의미론적 점수(Semantic Score): 생성된 출력과 참조 텍스트 간의 BERTScore-F1을 통해 측정하며, 내용 보존 정도를 평가한다.
- 구조적 점수(Structure Score): 대상 포맷팅 및 문서 구성(예: 계층 구조, 블록 유형)에 대한 준수 여부를 측정하는 구조적 보상이다.

2. 학습 파이프라인: SFT + 강화 학습

본 논문은 추론 시 하드 디코딩 제약에 의존하지 않고 마크다운 준수 능력을 향상시키는 경량화된 사후 학습 파이프라인을 제안한다.

1단계: 지도 미세 조정(SFT):
- 베이스 모델(OpenPangu 및 Qwen)을 저순위 적응(LoRA)을 사용하여 지시-응답 쌍에 대해 미세 조정한다.
- 이 단계는 모델을 포맷팅된 텍스트 생성 작업에 적응시키고 의미론적 정렬을 개선하는 데 중점을 둔다.
2단계: 강화 학습 미세 조정(RLFT):
- SFT 이후, 모델은 GRPO(Group Relative Policy Optimization)를 사용하여 RL 미세 조정을 거친다.
- 보상 설계: 의미론적 충실도와 구조적 정확성의 균형을 맞추는 복합 목적 함수를 사용한다:
  $r = \lambda_1 r_{sem} + \lambda_2 r_{struct}$
  - $r_{sem}$ : (긴 문서를 위한 Longformer 인코더를 사용하여) 출력과 참조 간의 BERTScore-F1을 통해 계산된다.
  - $r_{struct}$ : 생성된 출력과 참조의 추상적 요약을 비교함으로써 고차원적인 조직 유사성을 목표로 한다.
- 정책은 프롬프트당 4개의 병렬 후보 생성을 샘플링하여 그룹별 상대적 보상 비교를 통해 최적화된다.

주요 기여

벤치마크 (FMBench): 다양한 구조적 요구 사항(계층적 섹션, 혼합된 산문-리스트-테이블 구성, 코드 블록)을 아우르며 의미론적 축과 구조적 축을 모두 평가하는, 마크다운 출력 포맷팅에 특화된 최초의 벤치마크이다.
방법론: 추론 시 하드 제약 없이 마크다운 준수를 개선하는 SFT와 RL(특히 GRPO)을 결의한 실용적인 사후 학습 레시피를 제공한다.
분석: 두 모델 제품군(OpenPangu 및 Qwen)에 대한 실증적 결과를 통해 의미론적 목표와 구조적 목표 사이의 내재된 트레이드오프를 밝히고, 정교하게 설계된 보상의 필요성을 입증한다.

실험 결과

실험은 OpenPangu (1B, 7B) 및 Qwen3 (1.7B, 8B) 모델을 대상으로 수행되었다.

전반적인 성능: 전체 파이프라인(SFT + GRPO)은 의미론적 충실도와 구조적 준수 모두에서 사전 학습된 베이스라인 모델들을 일관되게 능가했다.
모델 규모 효과:
- SFT 영향: SFT는 모든 모델 크기에서 의미론적 정렬의 개선을 일관되게 이끌어냈다. 구조적 성능은 SFT만으로는 거의 변하지 않거나 약간 개선되는 데 그쳤다.
- GRPO 영향: SFT 위에 GRPO를 추가하면 구조적 점수가 더욱 개선되거나 잘 보존되었다. 작은 모델의 경우, GRPO가 때때로 구조적 일관성을 강화하기 위해 의미론적 정확도를 약간 희생하기도 했다. 그러나 더 큰 모델(예: Qwen3-8B)의 경우, 이 조합이 두 지표 모두에서 최상의 성능을 달야, 높은 모델 용량이 이러한 상충하는 목표를 공동으로 최적화하는 데 중요함을 시사했다.
핵심 발견: SFT는 의미론적 개선의 지배적인 요인인 반면, GRPO는 강력한 SFT 정책으로부터 초기화되었을 때 구조적 견고성을 강화하는 보완적 메커니즘 역할을 한다.

의의 및 주장

본 논문은 사용자 대면 및 시스템 통합 워크플로우에서 신뢰할 수 있는 LLM 배포는 의미론적 정확성뿐만 아니라 안정적이고 인간이 사용 가능한 포맷팅에 달려 있다고 주장한다.

정렬 목표로서의 포맷팅: 저자들은 포맷팅 동작을 지시 이행의 부산물이 아닌 명시적인 정렬 목표로 취급해야 한다고 주장한다.
트레이드오프 인식: 결과는 의미론적 목표와 구조적 목표 사이의 내재된 긴장 관계를 강조한다. 구조적 보상 가중치를 무분리하게 높이면 콘텐츠를 왜곡하는 과도하게 규제된 템플릿 형태의 출력이 나타날 수 있다. 따라서 보상 설계는 검증 가능하면서도 지시 조건에 부합해야 한다.
실용적 유용성: FMBench는 구조화된 생성을 위한 신뢰할 수 있는 데펜더블(dependable)한 요구 사항으로서 포맷팅을 다루는 정렬 방법에 대한 추가 연구를 촉발하는 진단 도구로 제시된다.

저자들은 실제 저작 스타일의 롱테일을 모두 커버하지 못한다는 점, 특정 구조적 선택의 주관성, 그리고 동일한 의도에 대한 여러 유효한 구현을 놓칠 수 있는 참조 기반 평가에 대한 의존성 등의 한계를 인정한다. 향-후 연구로는 하이브리드 제약 학습 접근 방식, 다른 구조화된 형식(JSON/YAML)으로의 확장, 그리고 인간 중심의 평가를 탐구할 것을 제안한다.