Pragmos: A Process Agentic Modeling System

다음은 논문 "Pragmos: A Process Agentic Modeling System"에 대한 상세한 기술 요약입니다:

1. 문제 제기

이 논문은 대규모 언어 모델 (LLM) 을 활용한 비즈니스 프로세스 관리 (BPM) 모델링의 자동화라는 과제를 다룹니다. 기존 도구들 (예: ProMoAI, BPMN-Chatbot) 은 텍스트 설명에서 직접 프로세스 모델을 생성하려고 시도하지만, 다음과 같은 치명적인 한계를 겪고 있습니다:

• 블랙박스성: 대부분의 도구는 생성된 Python 코드나 POWL 과 같은 형식과 같이 인간 분석가가 이해, 검증, 또는 정제하기 어려운 불투명한 내부 표현에 의존합니다.
• 추론의 한계: LLM 은 종종 복잡한 논리적 의존성에 어려움을 겪어, 제어 흐름 (예: 데드락, 잘못된 루프, 또는 동시성 누락) 에서 오류를 발생시킵니다.
• 반복적 제어의 부재: 현재 접근 방식은 종종 모델링을 단일 단계 생성 작업으로 취급하여, 복잡한 프로세스에 필요한 점진적이고 대화식인 정제를 지원하지 못합니다.

저자들은 프로세스 모델링이 본질적으로 복잡하며, 중간 단계와 근거에 대한 완전한 투명성을 갖춘 인간과 LLM 이 협력하는 개방형 대화형 워크플로우가 필요하다고 주장합니다.

2. 방법론: Pragmos 접근법

Pragmos 는 하이브리드 에이전트 접근법을 실현하는 프로토타입 시스템입니다. LLM 에게 한 번에 최종 BPMN 모델을 생성하도록 요청하는 대신, Pragmos 는 작업을 구조화된 다단계 파이프라인으로 분해합니다. 이는 LLM 의 자연어 이해 능력과 프로세스 마이닝 (특히 행동 관계 및 모듈 분해) 의 엄격한 형식적 방법을 결합합니다.

핵심 워크플로우

시스템은 텍스트 설명을 다음 단계를 통해 처리합니다:

A. 기본 단계 (점진적 발견)

1. 실행 경로 발견: LLM 은 텍스트에서 선형 실행 경로를 추출하도록 프롬프트되며, 루프를 재진입하지 않도록 명시적으로 지시받습니다 (현재로서는 루프를 단일 반복으로 취급).
2. 행동 관계 합성:
   • 인과성 및 충돌: 시스템은 경로로부터 **직접 후속 그래프 (DFG)**를 구성한 후, 이를 **순서 관계 그래프 (ORG)**로 변환합니다. 이 그래프는 다음을 명시적으로 정의합니다:
     • 인과성 ($a < b$): $a$는 $b$보다 선행해야 함.
     • 충돌 ($a \# b$): $a$와 $b$는 상호 배타적임.
     • 동시성 ($a \parallel b$): $a$와 $b$는 임의의 순서나 병렬로 발생할 수 있음.
   • 모듈 분해: ORG 는 선형 시간 알고리즘을 사용하여 **모듈 분해 트리 (MDT)**로 분해됩니다. 이 트리는 구조적 블록 (시퀀스, 병렬 블록, 배타적 선택) 을 식별합니다.
   • BPMN 생성: MDT 를 순회하여 예비 BPMN 모델을 생성합니다 (알고리즘 1 사용).
3. 동시성 정제: 두 번째 LLM 패스는 병렬로 실행할 수 있는 활동 쌍을 특정하여 ORG 에 주입한 후, MDT 를 업데이트하고 모델을 정제합니다.
4. 루프 발견: LLM 은 루프를 형성하는 활동 블록을 식별합니다. 시스템은 MDT 를 주석 처리하여 특정 모듈을 루프 구조 (초기에는 반복 루프) 로 변환합니다.

B. 고급 처리 (추상화 및 수정)

• 블록 추상화: ORG 의 비순환 가정을 위반하는 복잡한 루프의 경우, 시스템은 프로세스를 모듈화하기 위해 추상화를 사용합니다.
• 구조적 얽힘 해결: 시스템은 표준 발견이 실패하는 "제어 흐름 토폴로지"를 처리합니다 (예: 전이 관계로 인한 인과성 누락 또는 while 대 repeat 과 같은 잘못된 루프 유형).
  • 메커니즘: 시스템은 기호 실행 정렬을 수행합니다. 이는 생성된 모델의 MDT 에 대한 원래 실행 경로를 비교합니다.
  • 수정: 경로가 루프 본문을 건너뛰는 경우, 시스템은 repeat 루프를 while 루프로 변환합니다. 활동이 누락된 경우, 충돌을 해결하고 올바른 인과성을 강제하기 위해 "보이지 않는 활동 (유령 노드)"을 도입합니다.

3. 주요 기여

1. 투명하고 설명 가능한 워크플로우: 블랙박스 생성기와 달리, Pragmos 는 모든 단계에서 직관적인 중간 산출물(실행 경로, ORG, MDT) 을 생성합니다. 이를 통해 인간 분석가는 최종 BPMN 이 생성되기 전에 모델을 검사, 질문, 정제할 수 있습니다.
2. 하이브리드 아키텍처: 이는 LLM 기능(텍스트 이해) 과 형식적 프로세스 마이닝 이론(행동 관계, 모듈 분해, 페트리 넷 합성) 을 성공적으로 통합합니다. 이로써 생성된 모델은 단순히 통계적으로 확률적인 것이 아니라 논리적으로 일관된 "건전 (sound)"한 모델이 됩니다.
3. 에이전트 모델링 시스템: Pragmos 는 상태가 있는 반복적 대화를 관리하는 에이전트로서 작동하며, 단일 거대 생성을 시도하는 대신 복잡한 모델링 작업을 관리 가능한 하위 작업으로 분해합니다.
4. 복잡한 토폴로지 처리: 시스템은 짧은 루프와 동시성을 구분하고, 기호 정렬을 통해 루프 유형 (반복 대 while) 을 수정하는 등 일반적인 LLM 실패를 해결하기 위한 특정 메커니즘을 도입합니다.

4. 결과 및 평가

• 데이터셋: 시스템은 다양한 복잡성을 가진 45 개의 프로세스 설명을 포함하는 잘 알려진 벤치마크인 PET 데이터셋을 사용하여 평가되었습니다.
• 성능:
  • Pragmos 는 대부분의 사례에 대해 건전하고 정확한 BPMN 모델을 성공적으로 생성했습니다.
  • 생성된 모델은 문서에 설명된 논리를 정확하게 포착했습니다.
• 한계:
  • 컨텍스트 길이: 시스템은 추상화 기법으로도 LLM 의 컨텍스트 창을 초과하는 활동 수가 포함된 매우 큰 프로세스 설명 (예: "doc-4.1") 에서는 어려움을 겪었습니다.
  • 루프 유형: 초기 생성물은 때때로 while 루프가 필요한 곳에서 repeat 루프를 생성하여, 방법론에 설명된 기호 수정 단계가 필요했습니다.

5. 의의

이 논문은 AI 지원 프로세스 모델링에서 중요한 전환을 나타냅니다:

• 자동화에서 공동 설계로: 완전한 자율 생성의 목표에서 휴먼-인-더-루프 패러다임으로 이동합니다. 중간 산출물을 통해 모델 구축의 "왜"와 "어떻게"를 노출함으로써 비즈니스 분석가가 통제권을 유지할 수 있게 합니다.
• 격차 해소: LLM 의 출력이 형식적이고 도메인 특화 알고리즘에 의해 제약되고 검증된다면, 고위험 엔지니어링 분야에서 LLM 을 효과적으로 사용할 수 있음을 보여줍니다.
• 미래 방향: 저자들은 워크플로우의 사용성을 검증하기 위한 인간 분석가와의 경험적 연구와 복잡한 기업 프로세스를 위한 더 큰 컨텍스트 창 처리에 대한 연구를 필요로 한다고 지적합니다.

요약하자면, Pragmos는 LLM 의 유연성과 프로세스 마이닝의 수학적 엄밀함을 결합하여 신뢰할 수 있는 비즈니스 프로세스 모델을 생성하는 강력한 프레임워크를 제공하며, 결과 모델이 문법적으로 정확할 뿐만 아니라 인간의 의도와 의미적으로 정렬되도록 보장합니다.