Improving LLM-Generated Process Model Quality Through Reinforcement Learning: The Role of Reward Function Design

기술 요약: 강화 학습을 통한 LLM 생성 프로세스 모델 품질 개선

문제 정의
대규모 언어 모델(LLM)은 자연어로부터 비즈니스 프로세스 모델 및 표기법(BPMN) 생성을 자동화하여 숙련된 모델러의 가용성 문제를 해결할 수 있는 경로를 제시한다. 그러나 지도 미세 조정(Supervised Fine-Tuning, SFT)은 모델의 출력을 학습 데이터에 존재하는 패턴에 국한시켜, 토큰 수준의 모방을 넘어 글로벌 품질 지표를 최적화하는 데 한계가 있다. 검증 가능한 보상(Verifiable Rewards, RLVR)을 활용한 강화 학습(RL)은 코드 생성 및 수학 분야에서 유망함을 보여주었으나, 이를 프로세스 모델링에 적용하는 것은 고유한 과제에 직면해 있다. 즉, 프로세스 모델의 품질은 본질적으로 다차원적(구문적, 실용적, 의미적)이다. 기존의 프로세스 모델링 RL 접근 방식은 일반적으로 단일 보상 공식을 사용하며, 다차원 보상 함수의 구성이 최적화 결과에 어떻게 영향을 미치는지에 대해 체계적인 조사를 수행하지 않는다. 특히, 상충하는 품질 목표를 어떻게 균형 있게 조절할 것인지, 특정 차원을 강조하기 위한 보상 가중치가 해당 차원의 개선으로 이어지는지, 그리고 설계 선택 사항들이 모델 아키텍처 및 초기화 전략과 어떻게 상호작용하는지는 여전히 불분명하다.

방법론
저자들은 홀리스틱(holistic) 품질 평가와 일치하는 시퀀스 수준 RL 알고리즘인 그룹 시퀀스 정책 최적화(Group Sequence Policy Optimization, GSPO)를 사용하여 체계적인 경험적 조사를 제시한다. 본 연구는 Llama 3.1 8B와 Qwen 2.5 14B라는 두 가지 오픈 소스 LLM 제품군에 집중한다.

• 훈련 파이프라인: 이 접근 방식은 SFT와 RL을 결합한다. SFT는 행동적 초기화 역할을 하며, GSPO는 토큰 수준의 감독으로는 표현하기 어려운 품질 목표를 최적화한다. 결정적으로, 본 연구는 SFT 단계를 실험 변수로 취급하여, GSPO를 SFT로 초기화된 모델 또는 (BPM에 적응되지 않은) 명령 튜닝된 베이스 모델에 직접 적용한다.
• 보상 함수 설계: 방법론의 핵심은 세 가지 요소를 변화시키는 48개의 실험적 구성(configuration)을 포함하는 보상 함수 설계이다.
  1. 보상 가중치: 동일 가중치 베이스라인($R_{avg}$, $R_1$)과 구문적, 실용적, 또는 의미적 품질을 강조하는 타겟 가중치 방식($R_3$–$R_5$, 3:1:1 비율)을 포함하여 6개의 보상 함수를 테스트하였다.
  2. 무효성 패널티(Invalidity Penalty): 무효한 출력에 대해 음수 패널티를 부여하는 경우($p=-1$)와 제로 패널티를 부여하는 경우($p=0$)로 구성이 다양화되었다.
  3. 초기화: 모델은 SFT로 초기화된 베이스 또는 (BPM에 적응되지 않은) 명령 튜닝된 베이스로부터 훈련되었다.
• 평가 프레임워크: 보상은 세 가지 차원에서 38개의 자동화된 지표를 제공하는 BEF4LLM 프레임워크로부터 도출된다.
  • 구문적 품질(Syntactic Quality): BPMN 구조 규칙(예: 게이트웨이 매칭, 흐름 연결성) 준수 여부.
  • 실용적 품질(Pragmatic Quality): 이해도 및 복잡성 지표(예: 크기, 밀도, 게이트웨이 이질성).
  • 의미적 품질(Semantic Quality): 정답 참조 모델과의 유사도 지표를 통한 입력 텍스트에 대한 충실도.
• 통계 분석: 결과는 105개의 홀드아웃(held-out) 프로세스 설명을 바탕으로, 차원 간의 통계적 유의성을 결정하기 위해 본페로니 교정(Bonferroni correction)을 적용한 쌍체 순열 검정(paired permutation tests)을 통해 평가된다.

주요 기여

1. 훈련 프레임워크: 도메인에 근거한 다차원 보상 신호를 사용하여 LLM 기반 BPMN 생성에 GSPO를 적용하는 프레임워크를 제시하며, 이는 SFT 이후 또는 명령 튜닝된 베이스에 직접 적용 가능하다.
2. 체계적 보상 조사: 두 가지 아키텍처와 초기화 전략에 걸쳐 48개의 구성을 포함하여 보상 구성(가중치, 패널티, 집계)을 체계적으로 변화시킨 최초의 경험적 연구이다.
3. 상호작용 분석: 보상 설계, 모델 아키텍처, 초기화 전략이 독립적으로 튜닝 가능한 것이 아니라 비자명한 방식으로 상호작용한다는 점을 밝혀내어, 보편적인 설계 기본값(defaults)에 대한 가정을 반박한다.
4. 실무 가이드라인: 다차원 구조 생성 작업에 RL을 적용하기 위한 증거 기반의 권장 사항을 제공한다.

주요 결과

• RL vs. SFT (RQ1): 동일 가중치 보상을 사용하는 GSPO는 두 모델 제품군 모두에서 실용적 및 구문적 품질을 유의미하게 향상시키는 동시에 의미적 충실도를 대체로 유지한다. 중요한 발견은 출력 가변성의 극적인 감소이다. RL로 훈련된 모델은 SFT 전용 베이스라인에 비해 실용적 품질의 분산이 6배 이상 적게 나타나며, 이는 더 일관되고 신뢰할 수 있는 생성으로의 전환을 나타낸다.
• 보상 가중치 (RQ2): 특정 차원을 강조하면 해당 차원이 개선될 것이라는 직관과는 반대로, 동일 가중치 방식이 타겟 가중치 방식보다 일관되게 우수한 성능을 보였다. 타겟 가중치 방식(예: 3:1:1)은 강조된 차원을 개선하는 데 자주 실패하며, 모델이 좁고 저품질인 출력 모드로 수렴하는 "정책 붕괴(policy collapse)"를 초래할 수 있다. Llama의 경우, 구문 강조 가중치는 구문 품질을 0.264 포인트 하락시켰다.
• 무효성 패널티 (RQ2): 무효한 출력에 대한 패널티의 역할은 모델 의존적이다. Qwen의 경우, 패널티는 암묵적인 다양성 규제자로 작용한다. 패널티가 없으면 모델은 단일한 구조적 템플릿(높은 실용적 점수, 낮은 구문적 다양성)으로 붕괴한다. SFT 초기화를 거친 Llama의 경우, 모델이 이미 유효한 출력을 안정적으로 생성하므로 패널티의 효과가 미미하다.
• 초기화 전략 (RQ3): SFT 초기화의 필요성은 아키텍처에 따라 다르다. Llama의 경우 SFT는 필수적이며, SFT 없이 RL을 진행하면 저품질 평형 상태로 수렴한다. Qwen의 경우, SFT는 구조적 품질 측면에서 크게 불필요하며, RL 이후 오히려 의미적 품질을 낮추는 경과를 보인다. 이는 SFT가 모델의 의미적으로 다양한 구조를 탐색하는 능력을 제한할 수 있음을 시사한다.

의의 및 주장
본 논문은 보상 함수의 구성이 최적화 결과의 주요 결정 요인이며, 그 효과는 RL 적용 여부 자체만큼이나 클 수 있다고 주장한다. 연구 결과는 품질이 여러 자동화된 차원에 따라 평가되는 모든 구조적 생성 작업에 일반화될 수 있다.

저자들은 보상 구성 요소의 가중치 설정이나 무효성 패널티 포함과 같은 겉보기에 사소한 설계 선택이 극단적이고 때로는 반직관적인 결과(예: 타겟 가중치가 성능을 저하시키거나, SFT가 특정 아키텍처에서 의미적 품질을 방해하는 현상)를 낳을 수 있음을 강조한다. 따라서 본 논문은 다차원 작업에 대한 보상 엔지니어링에서 원칙적인 기본값(principled defaults)을 사용하는 것에 반대하며, 대신 특정 모델 아키텍처와 작업 요구 사항에 맞춘 경험적 평가를 옹호한다. 연구는 동일 가중치가 가장 견고한 기본값임을 결론짓지만, 패널티 체계와 초기화 전략은 베이스 모델의 유효성 및 작업 관련성에 관한 기존 역량과 일치되어야 한다고 명시한다.