기술 요약: TwinBI – 효율적인 비즈니스 인텔리전스 대시보드 증강 상호작용을 위한 에이전트 기반 디지털 트윈

1. 문제 정의

비즈니스 인텔리전스(BI) 시스템은 데이터 기반 의사결정에 필수적이지만, 유창한 자연어 생성(LLM 활용)과 분석적으로 타당한 의사결정 지원 사이에는 상당한 간극이 존재한다. LLM 기반 에이전트는 자연어 요청을 SQL이나 도구 실행으로 변환할 수 있지만, 다단계 상호작용 과정에서 **분석적 일관성(analytical consistency)**을 유지하는 데 종종 실패한다.

구체적으로, 사용자가 직접적인 대시보드 조작(예: 필터링, 드릴다운)과 자연어 질의 사이를 전환할 때, 시스템은 다음과 같은 사항에 대한 일관된 상태를 유지하는 데 어려움을 겪는다:

• 지표 정의 및 집계 단위(aggregation grains).
• 필터 범위 및 계층 수준.
• 현재의 분석적 컨텍스트(예: 활성화된 차트, 적용된 필터).

LLM 에이전트는 종 often BI 시스템의 정밀한 시맨틱 제약 조건을 벗어나, 언어적으로는 일관성이 있으나 실제 시스템 상태와는 분석적으로 불일치하는 답변을 생성한다. 기존 솔루션들은 자연어와 대시보드 상호작용을 통합된 동기화 워크플로우가 아닌 별개의 모드로 취급하는 경우가 많다.

2. 방법론: TwinBI 프레임워크

TwinBI는 LLM 기반 에이전트 시스템과 실행 가능한 BI 대시보드 상태를 결합하는 에이전트 기반 디지털 트윈 프레임워크를 도입하여 이 과제를 해결한다. 핵심 철학은 LLM 에이전트의 역할을 "BI를 대체하는 것"에서 명시적인 조정 레이어를 통해 "BI와 협력하는 것"으로 전환하는 것이다.

시스템 아키텍처

본 시스템은 5개 계층의 아키텍처로 구축된다:

1. 프레젠테이션 계층 (Presentation Layer): Streamlit 기반의 채팅 인터페이스와 Apache Superset 기반의 임베디드 BI 대시보드를 결합한다. 이는 활성 분석 컨텍스트(선택된 차트, 탭, 최근 상호작용)를 추적하고 백엔드로 신호를 보낸다.
2. 백엔드 오케스트레이션 및 인텔리전스 계층 (Backend Orchestration & Intelligence Layer): 대화 이력, 대시보드 상호작용 로그, 도구 출력을 관리하는 FastAPI 기반의 멀티 에이전트 시스템이다. 하위 태스크를 전문화된 에이전트(예: Schema Explorer, Chart Manager)로 라우팅하고, 현재 상태에 고정된 결과를 통합한다.
3. 시맨틱 계층 (Semantic Layer): Cube를 기반으로 하며, 측정값(measures), 차원(dimensions), 계층(hierarchies)의 선언적 모델을 사용하여 비즈니스 의미를 포착한다. 이는 호환 가능한 입도(grain)와 유효한 조인(join)을 강제함으로써, 대화형 출력과 대시보드 쿼리에 대한 공유된 시맨틱 모델을 제공한다.
4. BI 도구 계층 (BI Tool Layer): 시각화를 렌더링하고 상세한 상호작용 이벤트를 캡처하기 위해 Apache Superset을 사용한다.
5. 데이터 계층 (Data Layer): 분석 데이터셋을 DuckDB에 저장하며, 균일한 지표 정의를 보장하기 위해 오직 시맨틱 계층을 통해서만 접근한다.

주요 기능 메커니즘

• 통합 상호작용 로그 (Unified Interaction Log): 시스템은 모든 대화 교환, 대시보드 작업(예: 크로스 필터링, 시리즈 토글), 도구 메타데이터를 기록한다. 이 로그는 상태 재구성과 출처(provenance) 확인을 위한 권위 있는 기록 역할을 한다.
• 상태 재구성 (State Reconstruction): 새로운 대화형 요청을 해석하기 전, TwinBI는 대시보드 동작을 구조화된 이벤트로 인코딩하여 현재의 분석 상태를 재구성한다. 이를 통해 후속 질문이 이전 대시보드 조작과 동일한 컨텍스트를 바탕으로 해결되도록 보장한다.
• 투명성을 위한 아티팩트 (Artifacts for Transparency): 사용자의 검증을 지원하기 위해 세 가지 조사용 아티팩트를 노출한다:
  1. 계층 스키마 그래프 (Hierarchy Schema Graph): 측정값, 차원 및 계층을 탐색할 수 있는 뷰.
  2. SQL 노출 (SQL Exposure): 각 차트 쿼리와 관련된 SQL.
  3. 통합 상호작용 로그 (Unified Interaction Log): 대화형 답변과 이전 대시보드 작업 간의 관계를 추적.
• /insights 명령어: 상태 인식 요약을 생성하는 특화된 명령이다. 이는 압축된 실행 컨텍스트(최근 대화, 활성 차트, 필터)를 구성하고, 현재 보이는 증거에 엄격히 근거하여 정량적 관찰 결과와 다음 단계에 대한 제안을 반환한다.

3. 평가 및 결과

저자들은 통제된 A/B 벤치마크와 사용성 연구라는 두 가지 상호 보완적인 연구를 통해 TwinBI를 평가하였다.

A/B 벤치마크 (에이전트 성능)

• 설정: 동일한 백본 에이전트(gpt-5-mini)와 30개의 분석 쿼리에 걸친 30단계의 고정된 상호작용 예산을 사용하여 TwinBI를 "대시보드 전용(Dashboard-only)" 베이스라인과 비교하였다.
• 지표: 정확 일치도(Exact-match accuracy), 부분 점수 정확도(Partial-credit accuracy), 타임아웃 발생률, 상호작용 효율성(완료까지의 단계 수).
• 결과:
  • 정확 일치도: 43.3%(대시보드)에서 63.3%(TwinBI)로 향상되었다.
  • 부분 점수 정확도: **48.3%**에서 **70.8%**로 향상되었다.
  • 타임아웃 발생률: **40.0%**에서 **10.0%**로 크게 감소하였다.
  • 효율성: 완료까지의 평균 단계 수가 16.47에서 6.90으로 감소하였다.
  • 행동 양식: TwinBI는 무효한 동작과 타임아웃을 유의미하게 줄여 상호작용 안정성을 높였다. 일부 실패 사례에서 루프 단계 비율이 여전히 낮지 않았으나, 시스템은 베이스라인을 실패하게 만든 "취약한 UI 전용 탐색(brittle UI-only probing)"을 성공적으로 회피했다.

사용성 연구

• 설정: 5명의 참가자가 점진적으로 복잡해지는 세 가지 시나리오(매장 성과, 제품 가격 책정, 카테고리 성장)를 수행하는 피험자 내(within-subjects) 연구이다.
• 결과:
  • 과업 정확도: 높은 수준을 유지하였으나(S1 및 S3에서 100%, S2에서 73.33%), 어려운 시나리오일수록 상호작용 비용이 증가했다.
  • 워크플로우 패턴: 참가자들은 일관되게 대시보드를 먼저 사용하여 컨텍스트를 설정한 후, 비교, 임계값 확인 또는 설명을 위해 채팅을 활용하였다. 대시보드를 완전히 포기하는 경우는 거의 없었다.
  • 업무 부하: 복잡한 과업에서 상호작용 비용이 증가했음에도 불구하고, 인지된 업무 부하는 낮은 수준에서 중간 범위(NASA-TLX)를 유지하였다.
  • 기능 선호도: 참가자들은 상태 인식 조합(예: "클릭 + 채팅")을 채팅 전용이나 직접적인 SQL 검사보다 높게 평가하였다. /insights 기능은 참가자들이 이미 특정 뷰로 분석 범위를 좁힌 상태에서 유용했다.

4. 주요 기여

1. 에이전트 기반 디지털 트윈 프레임워크: 사용자 의도(intent)를 모델링하는 LLM 에이전트 트윈과 실행 가능한 BI 트윈(실행 상태)을 동기화하여, 사용자 의도와 시스템 실행 간의 정렬을 보장하는 새로운 아키텍처를 제시한다.
2. 통합 상태 관리: 통합 상호작용 로그로부터 분석 상태를 재구성하는 메커니즘을 통해, 자연어 질의가 대시보드에 현재 활성화된 필터, 계층 및 지표에 근거하도록 한다.
3. 향상된 투명성: 블랙박스 형태의 에이전트 응답을 넘어, 디버깅 및 출처 추적을 지원하기 위해 스키마 뷰, SQL 및 상호작용 로그를 노출한다.
4. 경험적 검증: 대시보드 전용 또는 상태가 없는(stateless) 에이전트 방식에 비해, 대시보드 상태를 에이전트 오케스트레이션에 통합하는 것이 분석적 신뢰성(정확도)과 상호작용 안정성(타임아웃 감소)을 모두 개선한다는 증거를 제시한다.

5. 의의 및 주장

본 논문은 Twin-BI가 견고한 "에이전트 기반 BI"를 위해서는 자연어에만 의존하는 것이 아니라, 사용자 의도, 시맨틱 정의, 그리고 쿼리 실행을 정렬하는 명시적인 조정 레이어가 필요함을 입증한다고 주장한다. 가시적인 대시보드 상태를 더 풍부한 실행 가능한 컨텍스트로 전환함으로써, TwinBI는 다음을 개선한다:

• 에이전트 수준의 분석 신뢰성: LLM 에이전트가 시맨틱 제약 조건에서 벗어나는 현상을 감소시킨다.
• 사용자 대상 분석 지원: 사용자가 컨텍스트를 잃지 않고 직접적인 조작과 대화형 지원 사이를 유연하게 전환할 수 있는 워크플로우를 가능하게 한다.

저자들은 TwinBI를 에이전트가 BI 도구와 협력하여 의사결정 지원의 견고함을 높이는 방향으로 나아가는 단계로 규정한다. 또한, 본 연구가 적은 표본 크기와 특정 소매 데이터셋을 대상으로 했다는 한계를 인정하며, 더 큰 데이터셋과 다양한 사용자에게 확장하고 서로 다른 대시보드 간에 분석 상태를 전이하는 것에 대한 향후 연구 과제를 제시한다.