Human-Centered Evaluation of an LLM-Based Process Modeling Copilot: A Mixed-Methods Study with Domain Experts

본 논문은 LLM 기반 BPMN 코파일럿에 대한 전문가 대상 혼합 방법론 연구를 통해 자동화된 벤치마크만으로는 신뢰성 및 인간 중심 평가 요소가 부족함을 드러냈으며, 이를 보완하기 위한 인간 중심 평가의 필요성을 강조합니다.

핵심

🎨 1. 연구의 배경: "그림을 그리는 AI 비서"

상상해 보세요. 당신이 복잡한 업무 절차 (예: "신규 고객 등록 절차") 를 설명하면, AI 가 그걸 듣고 자동으로 정교한 업무 흐름도를 그려준다고 칩시다. 이것이 바로 이 연구에서 만든 **'KICoPro'**라는 도구입니다.

기존에는 이 AI 가 그리는 그림이 '문법적으로 맞는지'만 컴퓨터가 체크했습니다. 하지만 이 연구는 **"사람들이 이 AI 를 믿고 쓸 수 있을까?"**라는 더 중요한 질문을 던졌습니다.

🧪 2. 실험 방법: "전문가들과의 심층 인터뷰"

연구진은 이 도구를 비즈니스 프로세스 전문가 5 명에게 사용하게 했습니다. (전문가 5 명은 적어 보일 수 있지만, 이 분야에서는 깊이 있는 의견을 듣기 위해 충분한 숫자입니다.)

• 방법: 2 주 동안 직접 사용해 보게 하고, 그 후에 함께 모여 이야기하는 워크숍과 설문을 진행했습니다.

🔍 3. 주요 발견: "친절하지만, 믿을 수는 없는 비서"

결과가 매우 흥미롭습니다. 전문가들의 반응을 비유로 설명하면 다음과 같습니다.

① "접하기는 쉽지만, 지시하는 법을 모름" (Usability vs. Prompting)

• 비유: 이 AI 비서는 매우 친절하고 깔끔한 카페 점원 같습니다. 주문하는 방법 (채팅) 은 쉽고, 분위기도 좋습니다.
• 문제: 하지만 "이걸 그려줘"라고 말했을 때, 어떻게 말해야 원하는 그림이 나오는지 전문가들도 헷갈려 했습니다. "너무 자세히 말해야 할까? 아니면 간략하게?" 같은 고민이 생겼습니다.
• 결과: 사용 자체는 편했지만 (Usability 점수: 67/100), 무엇을 어떻게 말해야 하는지가 명확하지 않아서 답답했습니다.

② "그림의 질이 들쭉날쭉" (Output Quality)

• 비유: AI 가 그려주는 그림은 짧은 주문에는 완벽하지만, 복잡한 주문 (긴 설명) 을 받으면 중요한 부분을 빼먹거나 엉뚱한 선을 그어 버립니다.
• 문제: 설명이 길어질수록 AI 가 혼란을 겪어, 전문가들은 직접 그림을 고쳐야 하는 수고를 겪었습니다.

③ "가장 큰 문제: '믿음'의 부재" (Trust Gap)

• 비유: 이 비서는 매우 예쁘고 말 잘하는 친구지만, 그 친구가 그린 지도를 믿고 길을 갈 수 있을까? 하는 의문이 들었습니다.
• 결과: 전문가들은 이 도구를 절대 믿지 못했습니다. (신뢰도 점수: 48.8/100).
  • "이게 맞을까? 다시 확인해 봐야지"라는 생각이 들 정도로, 정확성에 대한 신뢰가 매우 낮았습니다.
  • 특히 "실수할까 봐 두렵다"는 생각이 가장 컸습니다.

④ "질문하지 않는 AI" (Absent Clarification)

• 비유: 당신이 "점심 메뉴 추천해 줘"라고 했을 때, AI 는 당신의 취향을 묻지도 않고 무작정 메뉴를 추천합니다.
• 문제: 실제 전문가들은 "이 부분이 애매한데, 어떻게 처리할까?"라고 AI 가 먼저 물어봐 주길 원했습니다. 하지만 AI 는 모르는 척하고 그냥 그림을 그려냈습니다.

💡 4. 전문가들이 바라는 미래 (Use Cases)

전문가들은 이 도구가 완벽해지면 다음과 같이 쓰길 원했습니다.

1. 초보자를 위한 도우미: 그림 그리는 법을 모르는 전문가가 "이렇게 해"라고 말하면 초안을 잡아주는 역할.
2. 품질 검사관: 이미 그려진 그림이 회사 규칙에 맞는지 AI 가 먼저 체크해 주는 역할.
3. 스케치 변환기: 손으로 그린 낙서 사진을 찍으면, AI 가 정교한 그림으로 바꿔주는 역할.

🚀 5. 결론: "기술이 완벽해도, 사람이 믿어야 쓸 수 있다"

이 연구의 가장 중요한 메시지는 다음과 같습니다.

"컴퓨터가 문법적으로 완벽한 그림을 그렸다고 해서, 사람이 그걸 믿고 업무에 쓸 수는 없다."

AI 도구를 만들 때는 단순히 **"오류가 없는지"**를 체크하는 것뿐만 아니라, **"사람이 얼마나 편안하게 느끼고, 얼마나 믿을 수 있는지"**를 함께 연구해야 합니다.

요약하자면:
이 AI 비서는 친절하고 예쁘게 그림을 그리지만, 정확하지 않아서 전문가들이 "이거 진짜 쓸 수 있을까?"라고 의심하고 있습니다. 앞으로는 AI 가 더 많은 질문을 하고, 실수를 인정하며, 전문가의 신뢰를 얻을 수 있도록 개선되어야 한다는 것이 이 논문의 결론입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 비즈니스 프로세스 관리 (BPM) 도구, 특히 자연어 설명을 비즈니스 프로세스 모델 및 표기법 (BPMN) 모델로 변환하는 데 활용되고 있습니다. (예: KICoPro, ProMoAI 등)
• 문제점:
  • 기존 평가는 주로 문법적, 의미적, 실용적 품질을 측정하는 자동화된 벤치마크에 집중되어 있습니다.
  • 그러나 실제 업무 환경에서의 사용성 (Usability), 신뢰 (Trust), 전문가와의 정합성과 같은 인간 중심 요소를 간과하고 있습니다.
  • 대화형 프로세스 모델링은 사용자가 원하는 결과를 얻기 위해 프롬프트를 어떻게 구성해야 할지 추론해야 하는 **'실행의 간극 (Gulf of Execution)'**을 생성할 수 있으며, 이는 인지 부하를 증가시킵니다.
• 연구 목적: 자동화된 벤치마크만으로는 파악할 수 없는 실제 도메인 전문가들의 경험, 신뢰도, 그리고 상호작용의 문제를 규명하기 위해 인간 중심 평가가 필요합니다.

2. 연구 방법론 (Methodology)

이 연구는 혼합 방법론 (Mixed-Methods) 접근법을 사용하여 5 명의 BPMN 도메인 전문가를 대상으로 평가를 수행했습니다.

• 평가 대상: KICoPro (자연어 대화로 BPMN 모델을 생성하고 수정할 수 있는 웹 기반 프로토타입).
• 참가자: 5 명 (동일 조직 내 BPMN 전문가, 연령대 다양, 챗봇 사용 경험 보유).
• 평가 절차:
  1. 킥오프 (원격): 도구 소개 및 기대치 조사.
  2. 실제 사용 (2 주): 참가자들이 다양한 복잡도의 프로세스 설명을 입력하여 모델을 생성하고 수정하는 자유 탐색.
  3. 포커스 그룹 워크숍 (대면, 3.5 시간): 사용 경험, 인터페이스, 모델 품질, 한계점, 개선 사항, 활용 시나리오에 대한 심층 토론.
  4. 설문조사 (30 분): 정량적 데이터 수집.
• 측정 도구:
  • 사용성: 챗봇 사용성 설문지 (CUQ, 16 항목).
  • 신뢰도: AI 컨텍스트 신뢰 척도 (TAI) 기반 8 항목 척도.
  • 품질 평가: 생성된 BPMN 모델의 품질 및 작업 수행 능력을 측정하는 도구별 8 항목 설문지.
• 데이터 분석: 정량적 데이터는 기술 통계 (평균, 표준편차) 로 분석하고, 정성적 데이터 (워크숍 기록, 개방형 질문) 는 주제 분석 (Thematic Analysis) 을 통해 코딩 및 주제 도출.

3. 주요 결과 (Key Results)

A. 정량적 결과 (Quantitative Findings)

• 사용성 (CUQ): 평균 점수 67.2/100 (벤치마크 68 에 근접). 인터페이스가 직관적이고 사용하기 쉽다는 평가가 주를 이뤘습니다.
• 신뢰도 (Trust): 평균 점수 48.8% (권장 임계치 60% 미만). 신뢰도가 사용성에 비해 현저히 낮았습니다.
• 품질 평가: 평균 54.4%. 특히 '신뢰성 (Reliability)' 항목이 평균 1.8/5로 가장 낮게 평가되었습니다.
• 핵심 통찰: **"사용성 - 신뢰 간극 (Usability-Trust Gap)"**이 존재함. 인터페이스는 편리하지만, 전문가들은 생성된 결과물의 정확성과 일관성을 신뢰하지 못함.

B. 정성적 결과 (Qualitative Findings)

7 가지 주요 주제와 5 가지 활용 시나리오가 도출되었습니다.

주요 발견 사항 (7 가지 주제):

1. 직관적 인터페이스 vs 불투명한 프롬프팅: 인터페이스는 쉬웠으나, 어떤 프롬프트가 좋은 결과를 낼지 모르는 **'프롬프팅 역설 (Prompting Paradox)'**이 존재함.
2. 응답 지연: 모델 생성 시간이 길어 반복적인 수정 작업 (Iterative workflow) 을 방해함.
3. 변동하는 출력 품질: 긴 텍스트 설명일수록 품질이 떨어지고, 프로세스의 일부만 캡처하는 경향이 있음.
4. 조각화 (Chunking) 전략: 사용자가 긴 설명을 작은 단위로 나누어 입력해야 함. 이는 사용자의 인지 부하를 증가시킴.
5. 부정확한 수정 요청: 특정 BPMN 요소 (레인, 주석 등) 가 지원되지 않거나, 수정 요청 시 의도치 않은 연결이 발생하는 등 수정 기능이 불안정함.
6. 부재한 명확화 대화: LLM 이 모호한 입력에 대해 질문을 하지 않고 가정하여 모델을 생성함. 전문가들은 모호함을 해결하기 위한 대화형 상호작용을 원함.
7. 규약 위반: BPMN 2.0 표준 및 조직별 프로세스 규약 (레이블 패턴 등) 을 준수하지 않음.

예상 활용 시나리오 (5 가지):

1. 도메인 전문가 지원: 비전문가가 초안 (Blank page problem 해결) 을 작성하고 전문가가 수정.
2. 품질 보증 봇: 생성된 모델을 표준 및 규약에 따라 검증 및 자동 수정.
3. 시각적 입력 변환: 손으로 그린 스케치나 이미지를 BPMN 으로 변환.
4. 기업 통합 로컬 배포: 조직의 기존 프로세스 포트폴리오로 학습된 로컬 LLM 을 통한 일관성 유지.
5. 프로세스 최적화: 비효율성 탐지 및 개선 제안.

4. 주요 기여 및 설계 시사점 (Contributions & Design Implications)

이 연구는 자동화된 벤치마크만으로는 파악할 수 없는 LLM 기반 모델링 도구의 인간 중심적 측면을 규명했습니다.

• 설계 시사점:
  • 프롬프팅 가이드: 시스템의 기대치를 투명하게 하고 예시 대화나 템플릿을 제공하여 '실행의 간극'을 줄여야 함.
  • 점진적 공개 및 조각화 지원: 사용자가 직접 입력을 조각내지 않도록, 시스템이 대규모 설명을 단계적으로 처리하고 중간 검증을 제공하는 기능 필요.
  • 적극적 명확화 (Proactive Clarification): 모호한 입력 시 LLM 이 생성 전에 사용자에게 질문을 던져야 함.
  • 규약 구성 (Convention Configuration): 조직별 프로세스 규약을 학습하고 준수하도록 커스터마이징 가능해야 함.
  • 신뢰도 커뮤니케이션: 출력 결과에 대한 확신 수준 (Confidence) 을 표시하고, 잠재적 오류를 강조하여 적절한 신뢰 조율 (Trust Calibration) 을 도와야 함.
  • 지연 시간 관리: 생성 중 진행 상황을 표시하거나 스트리밍 출력으로 인지 흐름을 방해하지 않도록 설계.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰와 사용성의 괴리: 사용성이 높다고 해서 전문가들이 LLM 의 출력 결과를 신뢰하는 것은 아님을 입증함. 특히 **신뢰성 (Reliability)**이 가장 큰 걸림돌로 지적됨.
• 평가 방법론의 확장: LLM 기반 모델링 에이전트의 성공적인 도입을 위해서는 **자동화된 기술적 평가 (자동 벤치마크)**와 **인간 중심 실용적 평가 (사용자 경험, 신뢰, 업무 정합성)**가 병행되어야 함을 강조함.
• 전문가 중심의 접근: 초보자 (Democratization) 보다 도메인 전문가의 관점에서 평가함으로써, 실제 업무 환경에서의 통합 가능성과 한계를 명확히 파악할 수 있었음.

이 연구는 LLM 이 비즈니스 프로세스 관리 도구에 통합되기 위해서는 단순한 기술적 정확도를 넘어, 사용자의 신뢰를 얻고 업무 흐름에 자연스럽게 녹아들 수 있는 인간 중심적 설계가 필수적임을 시사합니다.