ExpressMind: A Multimodal Pretrained Large Language Model for Expressway Operation

이 논문은 데이터 부족과 일반 LLM 의 한계를 극복하기 위해 고속도로 운영을 위한 최초의 풀스택 데이터셋, 이중 계층 사전 학습, 그래프 증강 RAG, RL 정렬 사고 연쇄 기법 등을 도입한 멀티모달 사전 학습 대형 언어 모델 'ExpressMind'를 제안하고, 이를 통해 사고 감지 및 안전 대응 등 다양한 작업에서 기존 모델보다 우수한 성능을 입증했습니다.

핵심

고속도로의 '똑똑한 두뇌' 익스프레스마인드 (ExpressMind) 설명

이 논문은 고속도로를 더 안전하고 똑똑하게 운영하기 위해 만든 **새로운 인공지능 (AI)**에 대해 이야기합니다. 이 AI 의 이름은 **'익스프레스마인드 (ExpressMind)'**입니다.

기존의 고속도로 관리 시스템이 어떻게 작동했는지, 그리고 이 새로운 AI 가 어떻게 그 문제를 해결했는지 일상적인 비유로 설명해 드릴게요.

---

1. 왜 새로운 AI 가 필요했을까요? (기존의 문제점)

지금까지 고속도로 관리는 **'규칙책'**과 **'단순한 감지기'**에 의존했습니다.

• 비유: 마치 매우 엄격한 교통 경찰관이 있다고 상상해 보세요. 이 경찰관은 규칙책 (매뉴얼) 을 외우고 있지만, 상황마다 유연하게 대처하기는 어렵습니다. 예를 들어, "비가 오는데 차가 멈췄다"라고 하면 규칙책만 보고 "위반이다!"라고만 할 뿐, "아마도 고장 난 것일 수도 있으니 먼저 확인해 봐야겠다"라는 맥락과 이유를 깊이 있게 생각하지 못합니다.
• 문제: 일반 AI(대형 언어 모델) 는 일반 상식은 잘 알지만, 고속도로 특유의 복잡한 규칙이나 "왜 사고가 났는지"를 추론하는 데는 서툴렀습니다.

2. 익스프레스마인드는 무엇인가요?

익스프레스마인드는 **고속도로 운영을 위한 '전문가 AI'**입니다. 단순히 규칙을 외운 것이 아니라, 고속도로의 모든 상황을 **눈 (비디오) 과 귀 (텍스트/소리)**로 보고, **머리 (추론)**로 생각할 수 있는 존재입니다.

핵심 기능 4 가지 (비유로 설명)

① 두꺼운 전문 서적과 수천 개의 사고 사례를 외운 '학습'

• 비유: 이 AI 는 일반 대학을 졸업한 게 아니라, 고속도로 관련 법규, 매뉴얼, 사고 보고서, 전문가의 노트를 모두 읽은 '수석 졸업생'입니다.
• 기술적 내용: 연구팀은 고속도로 관련 텍스트, 사고 원인 분석, 응급 대응 절차 등을 담은 세계 최초의 대규모 데이터셋을 만들었습니다. 이를 통해 AI 가 고속도로의 '상식'을 체득하게 했습니다.

② 사고 발생 시, '수석 경찰관'처럼 사고를 분석하는 '추론 능력'

• 비유: 사고가 났을 때, 일반 AI 는 "사고 발생!"이라고만 외칩니다. 하지만 익스프레스마인드는 수석 형사처럼 다음과 같이 생각합니다.
  1. 관찰: "아, 차가 갓길에 멈췄네."
  2. 원인 분석: "비가 와서 미끄러졌거나, 운전자가 아팠을 수도 있겠다."
  3. 대응 계획: "먼저 경고 표지판을 세우고, 구급차를 보내고, 차선을 통제해야겠다."
  4. 검토: "이 계획이 가장 안전할까? 다시 한번 생각해보자."
• 기술적 내용: 연구팀은 AI 가 **강화학습 (RL)**을 통해 전문가들의 사고 대응 방식을 모방하도록 훈련시켰습니다. 이를 통해 AI 가 단순히 답을 말하는 게 아니라, **논리적인 사고 과정 (Chain-of-Thought)**을 거쳐 최선의 해결책을 찾게 됩니다.

③ 실시간으로 업데이트되는 '디지털 지식 도서관' (RAG)

• 비유: AI 의 머릿속에 모든 지식을 저장해 두는 건 불가능합니다. 그래서 익스프레스마인드는 실시간으로 연결된 거대한 도서관을 가지고 있습니다. 사고가 나면 AI 는 즉시 도서관에서 최신 규정이나 유사한 사고 사례를 찾아와서 답을 만듭니다.
• 기술적 내용: 그래프 기반 검색 (Graph-Augmented RAG) 기술을 써서, 복잡한 도로 정보를 서로 연결된 지식으로 저장하고 필요할 때 빠르게 찾아냅니다.

④ CCTV 를 보며 상황을 파악하는 '눈' (멀티모달)

• 비유: 이 AI 는 텍스트만 읽는 게 아니라, 고속도로 CCTV 영상을 직접 보고 이해합니다. "비가 오는데 차가 멈췄네"라는 텍스트뿐만 아니라, 화면 속 안개 낀 날씨와 멈춰 선 차를 동시에 보고 상황을 파악합니다.
• 기술적 내용: 영상과 텍스트를 동시에 이해할 수 있도록 시각 우선 정렬 (Visual-Prior Alignment) 기술을 도입했습니다. 영상 속 중요한 부분 (사고 차량, 정체 구간) 에 AI 의 주의를 집중시켜 더 정확하게 분석합니다.

---

3. 실제로 어떻게 쓰이나요?

이 AI 는 이미 산동성 (중국) 의 고속도로 운영 시스템에 적용되어 있습니다.

• 상황: 고속도로에 사고가 발생했습니다.
• 기존 방식: 감지기가 사고를 알리고, 관리자가 매뉴얼을 찾아서 수동으로 대응합니다.
• 익스프레스마인드 방식:
  1. CCTV 를 통해 사고를 즉시 감지합니다.
  2. "비가 오고 안개가 끼었으니, 차량이 미끄러져 멈췄을 가능성이 높다"라고 추론합니다.
  3. 자동으로 사고 분석 보고서를 작성하고, 가장 안전한 대응 계획 (차선 통제, 구급차 투입 등) 을 제안합니다.
  4. 관리자는 이 AI 가 제안한 계획을 검토하고 실행하면 됩니다.

4. 결론: 왜 이것이 중요한가요?

익스프레스마인드는 고속도로를 **단순한 '도로'가 아니라, 스스로 생각하고 반응하는 '지능형 생명체'**로 바꾸는 첫걸음입니다.

• 안전: 사고 발생 시 더 빠르고 정확한 대응으로 인명 피해를 줄입니다.
• 효율: 교통 체증을 더 빨리 해소하고, 운영 비용을 절감합니다.
• 미래: 이 기술은 앞으로 모든 교통 시스템이 **인간처럼 사고하고, 전문가처럼 대응하는 '지능형 에이전트'**로 발전하는 시초가 될 것입니다.

간단히 말해, 익스프레스마인드는 고속도로의 '초지능 두뇌'가 되어, 우리 모두의 안전한 여행을 지키는 새로운 파트너입니다.

기술 요약

논문 요약: ExpressMind (고속도로 운영을 위한 멀티모달 사전 훈련 대규모 언어 모델)

1. 문제 정의 (Problem)

현재 고속도로 운영 시스템은 규칙 기반 (rule-based) 이고 고립된 모델에 의존하고 있어, 서로 다른 시스템 간의 지식을 통합하여 공동으로 분석하는 데 한계가 있습니다. 또한, 범용 대규모 언어 모델 (LLM) 은 교통 분야의 전문 규정, 인과 관계, 그리고 비정형 시나리오 (비상 상황 등) 를 효과적으로 이해하지 못합니다.
주요 도전 과제는 다음과 같습니다:

• 도메인 지식 부재: 일반 LLM 은 고속도로의 기술 표준, 규정, 전문 용어에 대한 깊은 이해가 부족합니다.
• 멀티모달 데이터의 이질성: 실시간 감시 영상 (비정형) 과 사고 기록 (반정형) 등 다양한 형태의 데이터를 효과적으로 정렬하고 융합하기 어렵습니다.
• 데이터 부족: 고품질의 레이블이 지정된 멀티모달 데이터가 부족하고, 보안 및 프라이버시 문제로 인해 학습 데이터 확보가 어렵습니다.
• 안전성 및 정확도 요구: 교통 사고 처리와 같은 분야는 높은 정확도와 안전 기준을 요구하므로, 기존 모델의 추론 능력만으로는 부족합니다.

2. 방법론 (Methodology)

이 논문은 고속도로 운영을 위한 도메인 특화 멀티모달 LLM 인 ExpressMind를 제안하며, 다음과 같은 핵심 기술 아키텍처를 도입했습니다.

• 전체 스택 고속도로 데이터셋 구축 (Full-stack Dataset):

  • 업계 최초로 텍스트 인지, 논리적 추론, 시각적 지각을 아우르는 데이터셋을 구성했습니다.
  • Express-Insight: 700 만 토큰 이상의 교통 법규, 정책 문서, 전문 서적 등 텍스트 코퍼스.
  • Express-QA: 87 만 개의 질문 - 답변 쌍 (DeepSeek-V3 를 활용한 생성 및 정제).
  • Express-IncidentCoT: 1,786 개의 사고 대응 전략 코트 (Chain-of-Thought) 데이터 (사고 설명 → 원인 추론 → 대응 전략 → 평가).
  • Express-VQA: 1,627 개의 감시 영상 및 3,200 개의 VQA 쌍을 포함한 멀티모달 데이터.

• 이중 계층 사전 훈련 패러다임 (Dual-layer Pre-training):

  1. 비지도 학습 (Unsupervised Training): 도메인 특화 코퍼스를 사용하여 모델 파라미터를 최적화하여 기초 지식을 습득.
  2. 전 파라미터 지도 미세 조정 (Full-parameter SFT): 특정 작업과 지시사항에 맞춰 모델을 정렬.

• RL 기반 사고 대응 전략 정렬 (RL-aligned CoT Reasoning):

  • GRPO (Group Relative Policy Optimization) 알고리즘을 활용하여 사고 대응의 논리적 일관성을 강화합니다.
  • 다차원 보상 함수 (Multi-dimensional Reward): 구조적 무결성 (인지 - 분석 - 결정 - 반성 루프), 도메인 정렬 (전문 용어 사용), 의미적 일관성 (전문가 기록과의 유사도) 을 평가하여 모델의 추론 능력을 향상시킵니다.

• 그래프 증강 검색 (Graph-Augmented RAG):

  • LightRAG 를 기반으로 한 지식 그래프를 구축하여 동적인 교통 정보와 전문 용어를 실시간으로 검색 및 인덱싱합니다.
  • 이중 계층 검색: 구체적인 사실 (Local terms) 과 추상적 개념 (Global semantic cues) 을 동시에 포착하여 답변의 정확도를 높입니다.

• 멀티모달 정렬 메커니즘 (Visual-Prior Alignment, VPA):

  • VPA 메커니즘: 학습 가능한 교차 모달 어텐션 재가중치를 도입하여 텍스트와 영상 특징의 정렬 시 시각적 특징의 가중치를 동적으로 증폭시킵니다.
  • DeepStack 및 MRoPE: 비디오의 시간, 높이, 너비 축에 대한 세밀한 특징 추출 및 계층적 시각 정보 (픽셀 수준부터 의미 수준까지) 를 언어 디코더에 전달합니다.

3. 주요 기여 (Key Contributions)

1. 업계 최초 전체 스택 고속도로 데이터셋: 텍스트, 논리 추론, 시각 지각을 아우르는 최초의 공개 데이터셋과 벤치마크를 공개했습니다.
2. RL 기반 CoT 추론 강화: 사고 대응 전략의 논리적 일관성과 자기 수정 능력을 획기적으로 향상시킨 RL 정렬 메커니즘을 제안했습니다.
3. 그래프 증강 검색 (Graph RAG): 실시간 교통 상황과 전문 지식을 동적으로 인덱싱하고 검색하는 프레임워크를 구축했습니다.
4. 시각 우선 정렬 (Visual-Prior Alignment): 멀티모달 융합 과정에서 시각적 특징의 중요성을 강조하는 새로운 메커니즘을 도입하여 비디오 이해 능력을 향상시켰습니다.
5. 멀티모달 벤치마크 공개: 고속도로 도메인 내 LLM 평가를 위한 4 가지 하위 평가 세트를 포함하는 벤치마크를 공개했습니다.

4. 실험 결과 (Results)

• 사전 훈련 결과 (QA 태스크): ExpressMind-14B 는 Qwen-32B, Llama-3.3-70B, DeepSeek-R1-Distill 등 기존 최첨단 모델들을 모든 평가 지표 (정확도, F1-Score, GPT-Score 등) 에서 능가했습니다. 특히 '고속도로 법규 및 규정' QA 태스크에서 98.4% 의 MCQ 정확도를 기록했습니다.
• RL 정렬 효과: RL 정렬을 적용한 모델은 사고 대응 전략 생성 시 안전 준수 (Safety Compliance) 와 실행 가능성 (Actionability) 에서 기존 모델 대비 현저히 높은 점수를 기록했습니다. 추론 지연 시간 (Latency) 은 13.2ms 로 감소하여 24.6% 의 속도 향상을 보였습니다.
• 지식 검색 (RAG) 효과: RAG 를 적용한 모델은 전문 용어 사용 빈도를 16.7% 증가시켰으며, 사실적 정확도 (F1-Score) 가 크게 향상되었습니다.
• 멀티모달 이해 (Video Understanding): ExpressMind-VL 은 VideoLLaMA3, Qwen3-VL 등 다른 멀티모달 모델보다 교통 영상 설명의 정확도 (BLEU-4, ROUGE-L 등) 와 사고 탐지 (정확도 및 재현율 90% 이상) 에서 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 실제 배포: ExpressMind 는 이미 '산동성 고속도로 클라우드 브레인 (Shandong Expressway Cloud Brain)' 시스템에 배포되어 운영 중이며, 사고 탐지, 분석, 대응 계획 수립을 자동화하는 '지능형 허브' 역할을 수행하고 있습니다.
• 기술적 혁신: 고속도로와 같은 안전이 중요한 분야에서 LLM 이 단순한 챗봇을 넘어, 전문 지식을 기반으로 한 복잡한 추론과 의사결정을 지원할 수 있음을 입증했습니다.
• 미래 전망: 동적 시나리오 이해를 위한 시공간 추론 강화, 긴 텍스트 분석을 위한 CoT 정렬 개선, 엣지 배포를 위한 모델 경량화 등을 향후 연구 과제로 제시했습니다.

이 연구는 교통 분야에서 LLM 의 적용 범위를 확장하고, 데이터 부족과 도메인 특화 문제 해결을 위한 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.