Designing AI Pipelines for Decision-Ready ITSM Intelligence

디지털 노이즈와 시그널

수백만 권의 책이 매일 작성되고 있지만 아무도 그것을 정리하지 않는, 거대하고 혼란스러운 도서관을 걷고 있다고 상상해 보십시오. 어떤 책은 크레파스로 쓰였고, 어떤 것은 투명 잉크로 쓰였으며, 어떤 것은 그저 무작위 단어들의 목록일 뿐입니다. 이것이 바로 기업 IT 부서의 '디지털 브레인' 내부에서 일어나는 현상입니다. 컴퓨터가 고장 나거나, 비밀번호를 잊어버리거나, 소프트웨어 업데이트가 실패할 때마다 '티켓'이라 불리는 디지털 메모가 생성됩니다. 이 메모들은 쌓여서 무질서하고 일관성이 없으며 노이즈로 가득 찬 데이터의 산을 이룹니다.

오랫동안 전문가들은 수학과 컴퓨터를 이용해 이 산을 이해하려고 노력해 왔습니다. 그들은 '머신러닝'(컴퓨터에게 패턴을 찾는 법을 가르치는 것과 같은 기술)과 '클러스터링'(섞여 있는 레고 블록 주머니를 빨간색, 파란색, 초록색 더미로 분류하는 것과 같은 기술)이라는 도구를 사용합니다. 목표는 이 혼란스러운 메모 더미를 경영진이나 영업 담당자가 이해할 수 있는 명확한 이야기로 바꾸는 것입니다. 하지만 까다로운 점이 있습니다. 컴퓨터가 블록을 분류할 수 있다고 해서 그 결과물이 인간에게도 의미가 있다는 뜻은 아니라는 것입니다. 컴퓨터는 '고장 난 마우스'와 '고장 난 키보드'를 함께 묶을 수 있지만, 인간은 이 사실이 큰 비즈니스 결정에 왜 중요한지를 알아야 합니다. 이 논문은 무질서한 디지털 세계와 명확한 인간의 세계 사이의 다리를 놓는 방법, 즉 가공되지 않은 디지털 노이즈를 의사결정을 위한 유용한 지도로 바꾸는 방법을 탐구합니다.

혼돈에서 명료함으로: AI 파이프라인

Automation Anywhere의 팀인 이 논문의 저자들은 큰 문제점을 발견했습니다. 기업들은 이러한 IT 티켓을 엄청나게 많이 보유하고 있지만, '프로세스 설계 격차(process-design gap)'에 갇혀 있습니다. 데이터가 너무 무질서하고 기업마다 다르기 때문에 이를 정제하는 데 인간의 시간이 수 시간씩 소요됩니다. 또한 그들은 '추상화 격차(abstraction gap)'에도 직면합니다. 설령 티켓을 그룹화하더라도, 어떻게 수천 개의 작은 불만 사항을 CEO가 실제로 사용할 수 있는 몇 가지 크고 명확한 주제로 바꿀 수 있을까요? 마지막으로 '의사결정 지원 격차(decision-support gap)'가 있습니다. 멋진 차트를 만든다 하더라도, 책임자들이 그것을 실제로 신뢰하고 사용할 수 있을까요?

이를 해결하기 위해 팀은 특별한 AI 파이프라인, 즉 가공되지 않은 티켓을 스마트한 보고서로 바꾸는 단계별 레시피를 구축했습니다. 이것을 주방의 하이테크 셰프로 생각해보십시오.

먼저, 셰프는 모양, 크기, 언어가 제각각인 거대하고 무질서한 재료 더미(가공되지 않은 티켓)를 가져옵니다. 첫 번째 단계는 **스키마 분석(Schema Analysis)**으로, 여기서 AI는 번역가처럼 행동하며 무질서한 메모를 읽고 이를 표준화된 형식으로 정리하여 모두 동일하게 보이도록 만듭니다.

다음으로 셰프는 재료를 손질합니다. 이것이 데이터 전처리(Data Preprocessing) 단계입니다. AI는 '노이즈'(실제 이야기를 전달하지 않는 자동 알림 등)를 제거하여 의미 있는 인간의 불만 사항만 남깁니다.

그다음은 **주제 식별(Topic Identification)**의 마법이 펼쳐집니다. AI는 HDBSCAN이라는 영리한 분류 방법을 사용하여 유사한 티켓들을 그룹화합니다. 백만 개의 레고 블록을 거대한 통에 던져 넣으면 로봇이 어떻게 맞물리는지에 따라 즉시 더미를 분류하는 것을 상상해 보십시오. 이 더미들을 '서브 토픽(Sub-topics)'(예: "고장 난 프린터" 또는 "느린 인터넷")이라고 부릅니다. 하지만 로봇은 거기서 멈추지 않습니다. 로봇은 HAC라는 또 다른 방법을 사용하여 이 작은 더미들을 더 큰 '메인 토픽(Main-topics)'(예: "하드웨어 문제" 또는 "연결성 문제")으로 묶습니다. 마지막으로 AI는 각 더미에서 가장 중요한 상위 30개의 티켓을 읽고, 마치 사서가 책의 제목을 쓰는 것처럼 스마트한 라벨을 붙입니다.

마지막 단계는 이 정리된 정보를 보고서로 보여주는 **UI 레이어(UI Layer)**입니다. 이것은 비즈니스 리더들을 위한 '당신의 선택에 따라 이야기가 달라지는(choose-your-own-adventure)' 책과 같습니다. 그들은 큰 그림(메인 토픽)에서 시작하여, 특정 이슈(서브 토픽)를 보기 위해 클릭하여 내려갈 수 있으며, 이야기를 검증해야 할 경우 원래의 티켓을 읽기 위해 더 깊이 파고들 수도 있습니다.

팀이 발견한 것

팀은 이 파이프라인을 실제 데이터에 테스트했으며, 약 6시간 동안 최대 250,000개의 티켓을 처리했습니다. 이것이 실제로 작동하는지 확인하기 위해 그들은 단순히 수학적 수치만 본 것이 아니라, 실제 인간인 영업 엔지니어와 경영진에게 보고서를 읽게 하고 점수를 매기게 했습니다.

결과는 유망했습니다. 보고서를 읽은 사람들은 5점이 만점인 척도에서 평균 4점 이상의 높은 점수를 주었습니다. 그들은 보고서가 신뢰할 수 있다(가장 높은 점수를 받은 카테고리로, 평균 4.33)고 느꼈는데, 이는 AI가 없는 말을 지어내지 않는다고 믿음을 의미합니다. 또한 그들은 보고서가 실행 가능하다(actionable)고 느꼈는데, 이는 보고서가 고객과 대화하거나 프로세스를 수정하는 것과 같이 다음에 무엇을 해야 할지 결정하는 데 도움이 되었음을 의미합니다.

하지만 팀은 몇 가지 흥적인 문제점도 발견했습니다. AI는 단일 더미 내의 티켓들이 서로 유사하게 만드는 것(높은 '응집도/coherence')에는 뛰어났지만, 서로 다른 더미들이 완전히 구별되게 만드는 것(낮은 '변별도/distinctiveness')에는 가끔 어려움을 겪었습니다. 이는 로봇이 모든 빨간색 레고를 모으는 데는 매우 능숙하지만, 가끔 그 '빨간색' 더미가 '분홍색' 더미와 너무 비슷해 보이는 것과 같습니다.

팀은 또한 컴퓨터의 자체 수학 점수와 인간의 평가를 비교했습니다. 그들은 더미가 얼마나 구별되는지와 같은 일부 항목에서는 컴퓨터의 수학과 인간의 의견이 잘 일치한다는 것을 발견했습니다. 그러나 더미의 크기가 인간이 이해하기에 적절한지와 같은 다른 항목에서는 컴퓨터의 수학이 인간의 느낌과 전혀 일치하지 않았습니다. 이는 컴퓨터가 분류에는 뛰어나지만, 분류가 실제 업무에 의미가 있는지 결정하는 데는 여전히 인간이 필요하다는 것을 시사합니다.

결론

이 논문은 IT 데이터의 모든 문제를 해결했다고 주장하지 않습니다. 팀은 이 연구가 6개의 서로 다른 보고서와 5명의 검토자만을 사용한 작은 규모의 연구였음을 인정하며, 따라서 이 방식이 전 세계 모든 기업에 적용될 수 있다고 확언할 수는 없다고 말합니다. 또한 컴퓨터의 수학이 인간이 느끼는 것보다 보고서의 품질을 과소평가하기도 했다는 점을 언급합니다.

그러나 핵심 메시지는 명확합니다. AI의 속도와 인간의 판단력을 결합함으로써, 무질서한 IT 티켓의 산을 명확하고 신뢰할 수 있는 지도로 만드는 것이 가능하다는 것입니다. 이 지도는 리더들이 큰 그림을 보고, 반복되는 문제를 포착하며, 노이즈 속에서 길을 잃지 않고 더 나은 결정을 내릴 수 있도록 돕습니다. 이 논문은 이러한 접근 방식이 가공되지 않은 데이터를 사람들이 실제로 사용하고 싶어 하는 도구로 바꾸는 강력한 한 걸음이라고 제안합니다.