기술 요약: AI 는 당신의 지식을 추측할 수 있는가?

문제 정의

조직은 종종 직원 내부의 "누가 무엇을 아는가"를 식별하지 못해 생산성 손실을 겪습니다. 이 "숨겨진 인트라넷" 문제는 직원들이 정보나 전문가를 찾는 데 상당한 시간 (근무 시간의 19% 로 보고됨) 을 소모하게 하여 막대한 경제적 비용을 초래합니다. 대규모 언어 모델 (LLM) 은 의료 및 교육 분야에서 복잡한 언어 처리에 유망한 성과를 보여왔지만, 비정형적이고 장기적인 조직 커뮤니케이션 로그 (특히 Slack) 에서 개인의 도메인 지식을 직접 추론하는 능력은 아직 탐구되지 않았습니다. 본 연구는 오직 커뮤니케이션 기록만을 기반으로 개인의 전문성을 LLM 이 얼마나 정확하게 추정할 수 있는지 조사하며, 다음 세 가지 핵심 연구 질문에 답합니다:

1. LLM 이 인간의 도메인 지식을 추정하는 정확도는 얼마나 될 수 있는가?
2. 어떤 LLM 모델이 가장 정확한 추정을 제공하는가?
3. 커뮤니케이션 로그의 양이 추정 정확도에 어떤 영향을 미치는가?

방법론

데이터셋 및 참여자

본 연구는 단일 조직에서 2,744 일 (2017 년 4 월~2024 년 11 월) 에 걸쳐 수집된 27,188 개의 Slack 메시지 데이터셋을 활용했습니다. 원시 데이터는 94 개의 채널에 걸친 43 명의 사용자를 포함했습니다. 평가 목적으로 연락처 가용성을 기준으로 27 명의 활성 참여자를 선정했습니다. 데이터셋에는 관찰된 지식을 포착하기 위해 활성 사용자 메시지와 수동 시스템 이벤트 (예: 채널 참여 이벤트) 가 모두 포함되었으며, 단순히 사용자가 생성한 텍스트뿐만 아니라 이를 포함합니다.

시스템 아키텍처

제안된 워크플로는 다음을 수행하는 CLI 파이프라인을 포함합니다:

1. Slack 로그 (JSON 형식) 를 수집하고 사용자 및 채널별로 필터링합니다.
2. cl100k_base 토크나이저를 사용하여 근사화하고 모델별 컨텍스트 윈도우 제한 (예: Claude 의 경우 20 만 토큰, Gemini 의 경우 100 만 토큰) 에 따라 데이터를 청크로 나눕니다.
3. 일곱 가지 다른 LLM 에게 도메인 지식을 추출하도록 프롬프트를 보냅니다. 프롬프트는 대상 사용자의 "텍스트" 필드를 분석하고, 기술/기술과 관련된 고유 명사를 추출하여 0(알지 못함), 1(아마도 알고 있음), **2(알고 있음)**의 세 가지 수준으로 분류하고 각 분류에 대한 이유를 제공하도록 지시합니다.
4. 추출된 지식을 사용자별 프로필로 집계합니다.
5. 웹 애플리케이션을 통해 추출된 용어에 대한 참여자의 친숙도를 0~100 점 척도로 자가 평가한 인간 기준 진실 (ground truth) 에 대해 출력을 평가합니다.

평가된 모델

2025 년 10 월 기준으로 일곱 가지 LLM 을 비교했습니다:

• Anthropic: Claude Haiku 4.5, Claude Sonnet 4.5
• Google: Gemini 2.5 Flash, Gemini 2.5 Pro
• OpenAI: GPT-4o, GPT-o3, GPT-5

평가 지표

성능은 LLM 의 추정 지식 수준 (02 분류를 기반으로 0100 척도로 변환) 과 사용자의 자가 보고 평가 간의 불일치를 사용하여 측정되었습니다. 지표에는 다음이 포함됩니다:

• 평균 절대 오차 (MAE)
• MAE 의 표준 편차 (MAE_STD)
• 평균 제곱근 오차 (RMSE)
• 중앙값 절대 오차 (Median AE)

주요 결과

모델 성능 (RQ1 및 RQ2)

연구 결과, LLM 은 인간의 도메인 지식을 근사화할 수 있지만, 추정치는 아직 완벽하지는 않은 것으로 나타났습니다.

• 최고 성능: Gemini 2.5 Flash가 MAE 21.13% (±19.14), RMSE 28.48, 중앙값 오차 15.00 으로 가장 낮은 오차를 달성했습니다.
• 2 위: Gemini 2.5 Pro가 MAE 22.68 로紧随其后.
• 중간 계층: Claude 모델 (Haiku 4.5 및 Sonnet 4.5) 은 MAE 가 약 26~28 인 중간 성능을 보였습니다.
• 최저 성능: GPT 계열 (4o, o3, 5) 은 MAE 가 32.70~33.38 범위이고 RMSE 값이 41 을 초과하는 가장 큰 불일치를 보였습니다.

이 결과는 이 특정 작업에 대해 Gemini > Claude > GPT라는 명확한 성능 계층을 나타냅니다.

데이터 양의 영향 (RQ3)

메시지 양과 추정 정확도 간의 분석은 텍스트 양에 대한 약한 의존성을 드러냈습니다.

• 메시지가 매우 적은 사용자 (저활동 영역) 는 더 높은 오차를 보였지만, 최소 임계값을 넘어 메시지 수를 늘리는 것이 정확도를 체계적으로 향상시키지는 않았습니다.
• 수천 개의 메시지를 가진 사용자들은 종종 중간 활동량을 가진 사용자들과 비슷하거나 더 높은 오차율을 보였습니다.
• 저자들은 이를 Slack 커뮤니케이션의 특성 때문으로 돌렸습니다. 즉, 메시지의 상당 부분이 기술적 전문성을 전달하지 않는 짧은 인정, 사교적 대화, 또는 조정으로 구성되어 있기 때문입니다. 또한 자가 보고된 기술은 채팅에서 거의 구두로 표현되지 않는 지식을 포함할 수 있습니다.

기여 및 중요성

본 논문은 실용적이고 장기적인 조직 데이터를 사용하여 채팅 기반 LLM 을 통해 도메인 지식을 추정하는 최초의 연구라고 주장하며, 경험적 데이터 분석이 부족했던 이전 설문 조사 논문들과 차별화됩니다.

주요 기여 사항은 다음과 같습니다:

1. 타당성 입증: LLM 이 원시 커뮤니케이션 로그에서 도메인 지식을 추출하고 추정할 수 있음을 증명하여, 최상위 모델로 약 21% 의 기준 MAE 를 달성했습니다.
2. 모델 벤치마킹: GPT-5 및 Gemini 2.5 와 같은 미래 지향적 버전을 포함한 일곱 가지 최첨단 LLM 에 대한 비교 성능 분석을 제공하여, 이 특정 제로샷 (zero-shot) 작업에 가장 효과적인 모델로 Gemini 2.5 Flash 를 식별했습니다.
3. 데이터 양에 대한 통찰: "텍스트가 많을수록 추론이 더 좋다"는 가정을 도전하여, 메시지 양만으로는 메시지 품질과 콘텐츠 관련성을 고려하지 않고는 정확한 전문성 매핑에 불충분함을 입증했습니다.
4. 개인정보 보호 인식 프레임워크: 민감한 데이터에 대한 즉각적인 기업 도입을 제한하는 현재 클라우드 기반 API 사용에 주목하며, 개인정보 보호를 고려한 배포의 필요성을 강조했습니다.

한계 및 향후 방향

저자들은 현재 시스템이 배포 준비가 된 솔루션이 아닌 **개념 증명 (proof-of-concept)**임을 인정합니다.

• 개인정보 보호: 추론을 위한 제삼자 클라우드 API 의존성은 엄격한 거주 또는 기밀 요구 사항을 가진 조직에 데이터 거버넌스 문제를 제기합니다. 향후 연구는 로컬 또는 자체 호스팅 LLM 을 탐구해야 합니다.
• 세분화: 현재 추출은 단어 수준의 기술 용어로 제한됩니다. 향후 버전은 전문성의 깊이와 맥락을 더 잘 표현하기 위해 기술 클러스터, 주제 계층 구조, 역할별 프로필과 같은 더 풍부한 구조를 포착하는 것을 목표로 합니다.
• 노이즈: 연구는 조직 커뮤니케이션이 노이즈가 많으며, 자가 주석 달기 기술이 구두 채팅 내용과 완전히 일치하지 않을 수 있음을 지적합니다.

본 연구는 AI 가 moderate 성공으로 사람의 지식을 "추측"할 수 있지만, 이러한 시스템이 조직 지식 공유 및 전문가 찾기를 신뢰할 수 있게 지원하기 전에 정확도와 개인정보 보호 아키텍처의 상당한 개선이 필요하다고 결론지었습니다.