[기술 요약] FM SO.P: 교차 도메인 SOP 이해를 위한 점진적 작업 혼합 프레임워크 및 자동 평가 시스템

1. 문제 정의 (Problem Statement)

기업 운영의 핵심인 **표준 운영 절차(SOP, Standard Operating Procedures)**는 복잡한 워크플로우, 조건부 로직, 도메인별 특수 용어 및 제약 조건을 포함하고 있습니다. 기존 거대 언어 모델(LLM)은 다음과 같은 이유로 SOP 이해에 한계를 보입니다.

• 추론 능력의 부재: 단순한 패턴 매칭에 의존하여 용어의 정밀한 구분, 절차적 순서(Sequential ordering), 제약 조건 기반의 논리적 추론(Constraint reasoning) 능력이 부족합니다.
• 학습 최적화의 충돌: 여러 유형의 추론 과업을 동시에 학습(Joint training)할 경우, 서로 다른 인지 능력이 요구되는 과업 간에 최적화 충돌이 발생합니다.
• 평가 지표의 경직성: 기존의 고정된 평가 지표는 금융(규제 준수), 의료(환자 안전), DMV(시간적 제약) 등 도메인마다 다른 핵심 요구사항을 반영하지 못합니다.
• 배포 효율성 문제: 고성능을 위해 70B 이상의 대형 모델이 필요하지만, 실제 기업 환경에서는 메모리 및 비용 효율적인 소형 모델(7B 등)의 활용이 필수적입니다.

2. 제안 방법론 (Methodology)

본 논문은 문제를 해결하기 위해 점진적 작업 혼합(Progressive Task Mixture) 학습 단계와 자동 멀티 에이전트 평가(Automatic Multi-Agent Evaluation) 시스템이라는 두 가지 핵심 혁신을 제안합니다.

A. 점진적 작업 혼합 학습 (Training Phase)

단순히 데이터의 난이도를 조절하는 커리큘럼 학습을 넘어, 서로 다른 세 가지 유형의 과업을 계층적으로 쌓아 올리며 학습합니다. 각 단계는 이전 단계의 데이터를 모두 포함하는 누적 데이터(Cumulative data) 방식을 사용합니다.

1. 1단계: 개념 모호성 해소 (Concept Disambiguation): 도메인 특수 용어(예: '환불' vs '상환')의 미세한 차이를 구분하는 정밀도를 학습합니다. 대조 학습(Contrastive Learning)을 통해 유사하지만 문맥상 틀린 용어를 구별합니다.
2. 2단계: 행동 순서 이해 (Action Sequence Understanding): 절차적 정확성을 위해 순서 재배치(Reorder), 단계 누락(Omit), 불필요한 단계 삽입(Insert) 등의 오류를 주입하여 올바른 워크플로우를 학습합니다.
3. 3단계: 시나리오 인식 그래프 추론 (Scenario-Aware Graph Reasoning): SOP를 유향 비순환 그래프(DAG)로 표현하여, 순환 의존성(Cycle), 전제 조건 누락(Precondition removal) 등 복잡한 조건부 논리를 그래프 구조로 추론하도록 학습합니다.

B. 자동 멀티 에이전트 평가 (Evaluation Phase)

도메인별로 적응 가능한 평가를 위해 세 개의 에이전트가 협업합니다.

• 에이전트 1 (Adaptive Rubric Generator): SOP 코퍼스를 분석하여 도메인 특화 평가 기준(예: DMV의 경우 시간 제약 검증)과 가중치를 생성합니다.
• 에이전트 2 (Test Generator): 생성된 루브릭을 바탕으로 기초부터 복잡한 단계까지 계층화된 테스트 세트를 생성합니다.
• 에이전트 3 (Rubric Scorer): 모델의 출력을 정답과 비교하여 생성된 루브릭에 따라 다차원 점수를 산출하고 최종 점수를 계산합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

주요 기여

1. 계층적 학습 구조 제안: 개념 $\rightarrow$ 순서 $\rightarrow$ 그래프 추론으로 이어지는 단계적 학습을 통해 SOP 이해의 핵심 능력을 체계적으로 구축했습니다.
2. 도메인 적응형 자동 평가: 사람이 일일이 개입하지 않아도 도메인 특성을 반영하여 정밀하게 평가할 수 있는 확장 가능한 시스템을 구축했습니다.
3. 매개변수 효율성 입증: 소형 모델로도 대형 모델에 필적하는 성능을 낼 수 있음을 증명했습니다.

실험 결과

• 성능 향상: 7B 모델 기준, 기존 Qwen-2.5-7B(11.30%) 대비 34.33%로 약 3배 이상의 성능 향상을 달성했습니다.
• 모델 크기 극복: FM SO.P(7B) 모델은 Qwen-2.5-72B-Instruct(34.44%)와 거의 동일한 성능을 보이면서도, 파라미터 수는 10배 적게 사용했습니다.
• 확장성: 32B 모델은 48.30%의 Pass Rate를 기록하며 오픈소스 모델 중 최상위 성능(SOTA)을 달성했습니다.
• 도메인별 유연성: 7개 도메인(은행, DMV, 의료, 시장, 대학, 도서관, 호텔) 전체에서 일관된 성능 향상을 보였습니다.

4. 의의 (Significance)

본 연구는 LLM이 단순한 텍스트 생성을 넘어, 기업의 복잡한 비즈니스 로직과 규정을 엄격히 준수해야 하는 '에이전트'로서 기능하기 위한 실질적인 방법론을 제시했습니다. 특히, 적은 자원으로도 고성능 SOP 이해 모델을 구축할 수 있음을 보여줌으로써, 실제 기업 환경에서의 자동화된 규제 준수 검증, 워크플로우 최적화, 지능형 프로세스 지원 등의 실용적 적용 가능성을 크게 높였습니다.