Developing an AI Assistant for Knowledge Management and Workforce Training in State DOTs

이 논문은 주정부 도로국 (State DOTs) 의 지식 관리 및 인력 훈련 효율성을 향상시키기 위해, 전문 에이전트와 비전 - 언어 모델을 활용한 멀티 에이전트 기반의 검색 증강 생성 (RAG) 프레임워크를 제안합니다.

핵심

이 논문은 미국의 주별 도로청 (State DOT) 에서 일하는 엔지니어들을 위해 만든 **'지능형 지식 비서'**에 대한 이야기입니다.

상상해 보세요. 도로청에는 수십 년 동안 쌓인 방대한 양의 기술 매뉴얼, 보고서, 연구 자료들이 있습니다. 문제는 이 자료들이 너무 많고, 형식도 제각각이라서 (텍스트도 있고, 복잡한 차트나 그림도 있어서) 엔지니어들이 현장에서 문제를 해결할 때 필요한 정보를 찾는 데 너무 많은 시간을 쓴다는 점입니다. 게다가 베테랑 엔지니어들이 은퇴하면 그들의 '머릿속 지식'도 함께 사라져 버리는 '지식 유실' 문제가 발생합니다.

이 논문은 이 문제를 해결하기 위해 **최신 AI 기술 (LLM)**을 활용하되, 단순히 AI 가 막연하게 대답하는 것이 아니라 정확한 문서 기반으로 답변을 하도록 만든 시스템을 소개합니다.

이 시스템을 이해하기 쉽게 몇 가지 비유로 설명해 드릴게요.

---

1. 문제 상황: "도서관에 갇힌 지식"

도로청의 자료실은 마치 수만 권의 책이 쌓인 거대한 도서관과 같습니다. 하지만 이 도서관에는 두 가지 치명적인 문제가 있습니다.

• 책이 너무 많아요: 엔지니어가 "아스팔트 보수 방법"을 찾아도 책이 너무 많아서 정답을 찾기 힘듭니다.
• 그림이 말하지 않아요: 중요한 데이터가 담긴 복잡한 차트나 그래프는 책 속에 그림으로만 남아 있습니다. 기존 AI 는 글을 읽을 수는 있어도, 그림 속의 숫자나 추세를 읽어서 설명해 주지 못했습니다. 마치 그림책을 읽을 수 없는 사람처럼요.

2. 해결책: "전문가 팀이 돌아가는 AI 비서"

이 논문이 제안한 시스템은 **단순한 검색 엔진이 아니라, 각자 역할이 나뉜 '전문가 팀'**이 함께 일하는 방식입니다. 이를 **'멀티 에이전트 RAG 시스템'**이라고 부르는데, 마치 명품 레스토랑의 주방처럼 생각하시면 됩니다.

• 검색 전문가 (Retriever Agent): 손님이 주문 (질문) 을 하면, 도서관에서 가장 관련 있는 책과 그림이 그려진 페이지를 찾아옵니다.
  • 특이점: 이 시스템은 그림도 읽을 수 있습니다. AI 가 그림을 보고 "이 그래프는 A 방법이 B 방법보다 소음이 적다는 것을 보여줍니다"라고 글로 설명해 주는 과정을 거칩니다. 그래서 그림 속 정보도 검색에 포함됩니다.
• 요리사 (Generator Agent): 찾아온 책과 그림 설명을 바탕으로 손님이 이해하기 쉬운 답변을 조리합니다. 이때 자신의 지식이 아닌, 찾아온 책의 내용만 사용하도록 엄격하게 지시받습니다. (AI 가 헛소리를 하는 '할루시네이션'을 막기 위함입니다.)
• 맛집 심사위원 (Evaluator Agent): 요리사가 만든 답변을 맛봅니다. "이건 너무 어렵다", "중요한 내용이 빠졌다"라고 지적하면, 다시 주방으로 돌려보냅니다.
• 주문 수정 전문가 (Query Refiner Agent): 만약 답변이 마음에 들지 않으면, 손님의 주문 (질문) 을 더 명확하게 다듬어서 다시 검색을 시도합니다.

이처럼 검색 → 답변 → 검증 → 수정의 과정을 반복하는 '팀워크' 덕분에, 기존에 한 번에 끝내던 방식보다 훨씬 정확한 답을 얻을 수 있습니다.

3. 실험 결과: "94% 의 정확도"

이 시스템을 실제 도로청의 500 여 편의 기술 문서와 100 개의 실제 질문으로 테스트했습니다.

• 결과: 시스템이 찾아낸 상위 3 개 문서 중 **거의 모든 문서 (94.4%)**가 질문과 관련이 있었습니다.
• 의미: 기존 방식은 중요한 문서를 놓치는 경우가 많았지만, 이 '팀워크 AI'는 질문과 관련된 핵심 정보를 거의 빠짐없이 찾아냅니다.

4. 왜 이것이 중요한가요?

• 신입 사원도 베테랑처럼: 복잡한 매뉴얼을 다 읽지 않아도, AI 비서가 필요한 부분만 딱딱 정리해 주니 신입 엔지니어도 빠르게 적응할 수 있습니다.
• 지식의 보존: 베테랑 엔지니어가 은퇴해도, 그들의 경험과 데이터가 AI 시스템에 담겨 있어 조직의 지식이 사라지지 않습니다.
• 안전한 결정: AI 가 엉뚱한 소리를 하지 않고, 실제 문서와 그림 데이터를 근거로 답변하므로 도로 공사나 보수 결정 시 안전사고를 예방하는 데 도움이 됩니다.

요약

이 논문은 **"도로청의 방대한 문서와 그림을 AI 가 모두 읽고, 전문가 팀처럼 협력하여 정확한 답변을 주는 시스템"**을 만들었습니다. 이는 단순한 검색을 넘어, 조직의 지식을 보존하고 workforce(근로자) 의 역량을 키우는 혁신적인 도구가 될 것입니다.

마치 모든 도로 공사의 비밀이 담긴 두꺼운 책과 복잡한 도면을 한눈에 읽어주는, 그리고 그 내용을 쉽게 설명해 주는 똑똑한 비서가 생겼다고 생각하시면 됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

미국 주 도로국 (State DOTs) 은 노후화된 인프라 관리와 신규 인력 양성을 위해 방대한 양의 기술 문서, 매뉴얼, 연구 보고서, 유지보수 기록 등을 보유하고 있습니다. 그러나 기존 지식 관리 (KM) 방식은 다음과 같은 심각한 한계를 겪고 있습니다:

• 지식 단절 및 비효율성: 고령화되는 숙련된 엔지니어들의 은퇴로 인한 암묵적 지식 (Tacit Knowledge) 손실, 수동적인 문서 관리로 인한 정보 접근성 저하.
• 비구조화된 데이터의 어려움: 기술 매뉴얼과 보고서에 포함된 방대한 양의 비정형 데이터 (텍스트, 차트, 그래프 등) 를 신속하고 정확하게 검색하기 어려움.
• 기존 AI 의 한계: 단순한 LLM(대형 언어 모델) 은 환각 (Hallucination) 현상이 발생하거나 최신 도메인 지식이 부족할 수 있으며, 기존 RAG(검색 증강 생성) 시스템은 대부분 텍스트만 처리하고 복잡한 기술 도표 (Figures) 를 간과하거나 일회성 검색에 그쳐 정확도가 부족함.

2. 방법론 (Methodology)

이 연구는 다중 에이전트 기반의 검색 증강 생성 (Multi-Agent RAG) 프레임워크를 제안하며, 특히 **시각 - 언어 모델 (VLM)**을 통합하여 텍스트뿐만 아니라 기술 도표까지 지식 단위로 활용합니다.

가. 핵심 아키텍처 및 프로세스

1. 데이터 전처리 및 인덱싱 (Figure Preprocessing):

   • PDF 문서에서 텍스트와 이미지 (도표, 차트, 그래프) 를 추출합니다.
   • **시각 - 언어 모델 (VLM, Qwen3-VL-2B-Instruct)**을 사용하여 도표의 캡션과 시각적 내용을 상세한 자연어 설명 (축, 단위, 추이, 정성적 해석 등) 으로 변환합니다.
   • 이렇게 생성된 텍스트 기반 설명과 원본 텍스트를 모두 벡터 데이터베이스 (ChromaDB) 에 인덱싱하여, 도표 기반 지식도 검색 가능하게 만듭니다.

2. 다중 에이전트 RAG 워크플로우 (Agentic RAG Workflow):

   • 기존 단일 패스 (Single-pass) RAG 와 달리, AutoGen 프레임워크를 기반으로 4 가지 전문 에이전트가 협력하여 답변의 정확성을 높입니다.
   • User Proxy Agent: 사용자 입력을 수신하여 하위 에이전트에게 전달합니다.
   • Retriever Agent: 쿼리를 기반으로 데이터베이스에서 관련 문맥 (텍스트 및 도표 설명) 을 검색합니다.
   • Generator Agent: 검색된 문맥을 바탕으로 답변을 생성하며, 초보자도 이해하기 쉬운 톤과 인용을 포함하도록 지시받습니다.
   • Evaluator Agent: 생성된 답변의 명확성, 관련성, 완전성을 평가합니다.
   • Query Refiner Agent: 평가 결과가 '불만족 (Unsatisfactory)'일 경우, 피드백을 바탕으로 쿼리를 재구성하여 검색 과정을 반복합니다 (최대 $k$회).

3. 모델 구성:

   • 임베딩 모델: all-MiniLM-L6-v2
   • 생성 모델: Qwen3-4B-Instruct-2507 (최종 답변 생성)
   • 시각 처리 모델: Qwen3-VL-2B-Instruct (도표 텍스트 변환)

3. 주요 기여 (Key Contributions)

1. 도표 기반 지식의 검색 가능화: 기술 문서 내의 도표 (Performance trends, comparative analyses 등) 를 단순한 보조 자료가 아닌 검색 가능한 지식 단위로 변환하여 인덱싱하는 새로운 접근법 제시.
2. 다중 에이전트 품질 제어: 검색, 생성, 평가, 쿼리 정제 과정을 분리된 에이전트가 담당하도록 하여, 단일 LLM 의 환각을 줄이고 도메인 특화 문서에 기반한 정확한 답변을 보장합니다.
3. 실제 DOT 환경 적용 검증: 텍사스, 캘리포니아 등 여러 주의 도로국에서 수집한 500 개 이상의 기술 문서와 100 개의 도메인 특화 질문 (노면 유지보수, 재활용 전략 등) 을 활용한 대규모 사례 연구 수행.

4. 실험 결과 (Results)

• 데이터셋: 521 개의 주 도로국 기술 문서 (노면 관리, 유지보수, 재활용 전략 등) 및 100 개의 평가 질문.
• 성능 지표:
  • Recall@3: 94.4% (상위 3 개 검색 결과 중 관련 문서가 포함된 비율). 이는 단일 패스 RAG 의 Recall@5(58%) 보다 월등히 높은 성능입니다.
  • Precision@3: 1.0 (상위 3 개 검색 결과가 모두 관련 있음).
• 비교 분석: 다중 에이전트 시스템은 초기 검색 실패 시 쿼리 정제를 통해 누락된 관련 문서를 재발견하여, 단일 패스 방식보다 훨씬 높은 정보 회수율을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 가치: 주 도로국 (State DOTs) 의 인력 교육과 의사결정 지원을 위해, 방대한 비정형 기술 문서 (특히 도표 포함) 를 실시간으로 활용 가능한 지식으로 전환하는 실용적인 AI 솔루션을 제시했습니다.
• 비용 효율성: 특수 하드웨어 없이 표준 컴퓨팅 인프라로 저비용 배포가 가능하며, 수동 개입이 필요한 부분 (도표 추출 등) 을 제외한 자동화 파이프라인을 구축했습니다.
• 한계 및 향후 과제: 현재 데이터셋이 노면 공학 (Pavement Engineering) 에 국한되어 있어, 교통 운영, 안전 분석, 교량 관리 등 다른 도로 분야로 확장 필요성이 제기되었습니다. 또한 도표 처리의 완전 자동화를 위한 추가 연구가 요구됩니다.

요약하자면, 이 논문은 텍스트뿐만 아니라 기술 도표까지 통합하여 다중 에이전트 협업을 통해 높은 정확도의 지식 검색 및 생성이 가능한 AI 시스템을 개발하고, 실제 도로국 문서 데이터셋에서 그 유효성을 입증한 중요한 연구입니다.