Comparing LLM-Based Conversational and Graphical Interfaces for Industrial Decision Tasks: An Exploratory Mixed-Methods Study

기술 요약: 산업적 의사결정 과업을 위한 LLM 기반 대화형 인터페이스와 그래픽 인터페이스 비교

문제 정의
스마트 제조 및 인더스트리 4.0을 포함한 산업적 의사결정 맥락에서, 의사결정 지원 시스템(DSS)은 그래픽 대시보드에 크게 의존하고 있다. 대시보드는 운영 데이터를 통합하지만, 시각적 탐색, 여러 뷰(view) 간의 정보 수동 통합, 그리고 복잡한 비교 과정 중 작업 기억(working memory) 관리로 인해 사용자에게 높은 인지 부하를 가하는 경우가 많다. 이는 데이터가 밀집되어 있거나 통합이 미흡할 때 정보 과부하로 이어질 수 있다.

대규모 언어 모델(LLM)로 구동되는 대화형 사용자 인터페이스(CUI)는 자연어를 통한 직접적인 데이터 접근과 추론 작업의 자동화를 약속하며 잠재적인 대안으로 부상했다. 그러나 LLM 기반 CUI가 고위험 산업 환경에서 정보 과부하를 효과적으로 완화하거나 의사결정 성능을 개선할 수 있는지 여부는 여전히 불분명하다. 기존의 경험적 비교 연구는 특히 다양한 인지적 요구(예: 단순 정보 검색 vs. 복잡한 문제 해결)를 가진 과업에 따라 이들 인터페이스가 어떻게 성능을 발휘하는지에 관한 연구가 부족한 실정이다.

연구 방법론
저자들은 LLM 기반 대화형 에이전트(CA)와 최신 그래픽 대시보드를 비교하기 위해 20명의 참가자(주로 컴퓨터 공학 전공 학생)를 대상으로 탐색적 혼합 방법론 연구를 수행하였다.

• 실험 설계: 2×2 피험자 내 요인 설계(within-subjects factorial design)가 채택되었다. 독립 변수는 인터페이스 유형(대시보드 vs. CA)과 과업 복잡도(정보 검색[IR] vs. 문제 해결[PS])였다.
• 과업: 참가자들은 합성 팩토리 시나리오 내에서 네 가지 시뮬레이션된 산업 의사결정 과업을 수행하였다.
  • IR 과업: 특정 사실이나 데이터 포인트를 찾는 것을 요구함.
  • PS 과업: 데이터를 해석하고, 여러 요인을 비교하며, 최적의 결정(예: 기계 구성 선택)을 내리는 것을 요구함.
  • 복잡도 지표: 과업 복잡도는 Wood(1986)의 모델을 사용하여 정량화하였으며, 동적 복잡성은 제외하였고, IR 과업의 복잡도 점수는 3, PS 과업은 9으로 산출되었다.
• 인터페이스:
  • 대시보드: 표준 시각적 분석(차트, 테이블)을 제공하는 Zerynth 플랫폼.
  • CA: GPT-4o를 기반으로 하며, 동일한 기초 데이터셋으로부터 데이터를 자율적으로 검색, 필터링, 비교 및 집계할 수 있는 도구를 갖춘 텔레그램 기반 커스텀 챗봇.
• 측정 항목:
  • 객관적 지표: 과업 완료 시간, 의사결정 정확도(IR은 이진 분류, PS는 최대 가능 점수 대비 백분율), 상호작용 로그.
  • 주관적 지표: NASA-TLX(정신적 작업 부하), 사후 설문지(인지된 유용성 및 확신), 반구조화된 인터뷰.
• 분석: 양적 데이터는 데이터 분포에 적합한 비모수 및 모수 검정(Mann-Whitney U, Wilcoxon signed-rank, t-test)을 사용하여 분석되었다. 질적 데이터는 일관된 코딩을 위해 여러 LLM(ChatGPT 5.2, Gemini 3 Pro, Claude 4.5)의 도움을 받아 코드북 기반 주제 분석(thematic analysis)을 거쳤으며, Krippendorff's $\alpha$ 값은 0.738을 달려 달성하였다.

주요 기여

1. 경험적 비교: 본 연구는 산업적 의사결정 과업에서 LLM 기반 CUI와 대시보드를 직접 비교함으로써, 작업 부하 및 성능 측면에서의 상대적 장점에 관한 문헌상의 공백을 메우는 직접적인 경험적 증거를 제공한다.
2. 과업 종속적 결과: 대화형 인터페이스의 이점이 균일하지 않으며, 과업의 요구 사항과 상호작용의 구체적인 성격(검색 vs. 합성)에 따라 크게 달라짐을 입증한다.
3. 유용성과 확신의 괴리: 연구는 사용자들이 CUI를 더 유용하고 효율적이라고 인지하면서도, 출력물의 감사 가능성(auditability) 측면에서는 대시보드보다 더 신뢰하지 않는다는 중요한 차이점을 강조한다.
4. 하이브리드 워크플로우 통찰: 연구는 사용자들이 두 인터페이스를 대체 관계가 아닌 보완적 관계로 인식하며, 대시보드는 개요 확인 및 검증용으로, CUI는 직접적인 합성을 위한 용도로 활용한다는 점을 식별하였다.

결과

• 정신적 작업 부하: 참가자들은 특정 비교 작업, 특히 직접적인 검색이 포함된 과업에서 CA를 사용할 때 정신적 작업 부하가 유의미하게 낮다고 보고하였다. 질적 테마에 따르면, CA는 다단계 탐색을 단일 쿼리로 압축함으로써 "정신적 장부 정리(mental bookkeeping)"를 줄여주었다. 그러나 모든 과업에 걸쳐 인터페이스 간의 작업 부하 차이는 통계적으로 유의미하지 않았다.
• 성능 (시간 및 정확도):
  • 시간: CA는 네 가지 과업 중 두 가지(하나의 IR 및 하나의 PS)에서 대시보드보다 유의미하게 빨랐다. 다른 과업에서는 차이가 통계적으로 유의미하지 않았다.
  • 정확도: CA는 오직 과업 3(에너지 비용 최소화를 포함한 PS 과업)에서만 유의미하게 높은 의사결정 정확도를 보였다. 다른 과업에서는 유의미한 차이가 발견되지 않았다.
• 사용자 선호도 및 확신:
  • 유용성: CA가 인지된 유용성에서 유의미하게 높게 평가되었다.
  • 확신: 확신 수준에는 유의미한 차이가 없었으나, 향후 사용을 위한 기준으로 "확신"을 명시했을 때, 참가자들은 압도적으로 대시보드를 선호하였다.
  • 과업 선호도: 문제 해결(PS) 과업의 경우, 참가자들은 CA를 유의미하게 선호하였다. 정보 검색(IR)의 경우 선호도가 엇갈렸다.
• 질적 테마:
  • 압축(Compression): CA는 데이터를 합성함으로써 상호작용 노력을 줄여주었다.
  • 감사 가능성(Auditability): 사용자는 대시보드가 원시 데이터에 대한 직접적인 검사를 허용하기 때문에 이를 더 신뢰하였으며, 반면 CA의 "블랙박스" 특성은 속도 이득을 상쇄할 수 있는 검증 노력(예: 질문 재질의)을 요구하였다.
  • 기술 관문(Skill Gatekeeping): CA의 성공적인 사용은 프롬프트 구성 능력에 달려 있었던 반면, 대시보드 사용은 시각적 리터러시와 인터페이스 숙련도에 달려 있었다.
  • 결함(Breakdowns): 대시보드의 탐색 막힘 현상과 CA의 불투명한 추론 모두 인지 부하를 증가시켰다.

의의 및 주장
본 논문은 LLM 기반 CUI가 전통적인 대시보시의 보편적인 대체제가 아니라 보완적인 도구라는 점을 시사한다는 점에서 겸허한 주장을 펼친다. 본 연구의 의의는 각 인터페이스가 탁월한 성능을 보이는 조건을 식별하는 데 있다:

• CUI는 사용자가 명확한 프롬프트를 작성할 수 있다는 전제하에, 직접적인 검색, 필터링 또는 합성이 필요한 과업에서 상호작용 비용을 줄이는 데 유리하다.
• 대시보드는 지속적인 개요 파악, 명시적 비교, 그리고 의사결정 근거의 검증이 필요한 과업에서 여전히 우수하며, 더 높은 감사 가능성을 제공한다.

저자들은 가장 타당한 설계 방향이 한 인터페이스가 다른 인터페이스를 대체하는 것이 아니라, 하이브리드 시스템을 개발하는 것이라고 결론짓는다. 이러한 시스템에서 대화형 에이전트는 피할 수 있는 상호작용 비용(검색 및 합성)을 처리하고, 그래픽 인터페이스는 개요, 투명성 및 사용자 제어권을 유지할 수 있다. 본 연구는 이러한 인터페이스들의 상대적 가치가 과업의 요구 사항과 결과를 해석하고 신뢰하는 사용자의 능력에 달려 있음을 강조하며, 이러한 탐색적 결과를 검증하기 위해 숙련된 산업 의사결정자를 대상으로 한 대규모 연구가 추가로 필요함을 명시하였다.