RGB-Event HyperGraph Prompt for Kilometer Marker Recognition based on Pre-trained Foundation Models

이 논문은 GNSS 가 차단된 지하철 환경에서 조명 변화와 고속 이동 등 열악한 조건에 강인한 거리 표지판 인식을 위해 사전 학습된 RGB OCR 기반 모델을 다중 모달로 적응시키고, 이를 검증하기 위한 대규모 동기화된 RGB-이벤트 데이터셋 'EvMetro5K'를 구축한 연구입니다.

핵심

1. 문제 상황: 지하철의 "시력 장애"

지하철은 보통 카메라 (RGB 카메라) 를 통해 주변의 표지판 (킬로미터 마커) 을 보고 어디에 있는지 파악합니다. 하지만 지하철은 다음과 같은 상황에서 카메라가 제대로 보지 못해 길을 잃을 수 있습니다.

• 어두운 터널: 빛이 없어서 카메라가 잘 안 보입니다.
• 너무 빠른 속도: 카메라가 흔들려서 글자가 흐릿해집니다.
• 갑작스러운 빛: 터널 밖으로 나갔을 때 햇빛이 너무 강해 눈이 부셔 글자가 안 보입니다.

기존의 일반 카메라만으로는 이런 극한 상황에서 표지판을 읽는 것이 매우 어렵습니다.

2. 해결책: "초고속 카메라"와 "일반 카메라"의 결혼

이 연구팀은 **이벤트 카메라 (Event Camera)**라는 특수한 장비를 도입했습니다.

• 일반 카메라 (RGB): 마치 사진기처럼 한 장의 사진을 찍습니다. 빛이 없으면 검은색으로, 빛이 너무 강하면 하얗게 변해버립니다.
• 이벤트 카메라: 마치 초고속으로 움직이는 물체의 궤적을 쫓는 레이더나 눈과 같습니다. 빛의 밝기가 변할 때만 "여기서 무언가 움직였다!"라고 신호를 보냅니다. 빛이 없어도, 너무 밝아도, 아주 빠르게 움직여도 모양과 구조는 선명하게 잡아냅니다.

이 연구팀은 이 두 가지 카메라를 쌍둥이처럼 붙여서 함께 쓰기로 했습니다. 일반 카메라가 잘 안 보이는 부분도 이벤트 카메라가 "여기 글자가 있구나!"라고 알려주는 방식입니다.

3. 핵심 기술: "초연결 네트워크" (하이퍼그래프 프롬프트)

두 카메라의 정보를 단순히 합치는 것만으로는 부족합니다. 마치 두 사람이 대화할 때, 한쪽이 말한 내용을 다른 쪽이 이해하고 서로 보완해 주는 고급 대화 기술이 필요합니다.

저자들은 이를 위해 **'하이퍼그래프 (HyperGraph)'**라는 개념을 사용했습니다.

• 비유: 보통의 연결은 A 와 B, B 와 C 처럼 **선 (Line)**으로 이어지는 것이라면, 하이퍼그래프는 A, B, C, D 가 한 그룹으로 모여서 서로의 정보를 공유하는 원탁 회의와 같습니다.
• 이 기술은 일반 카메라의 이미지와 이벤트 카메라의 정보를 서로 깊게 연결시켜서, 어두운 터널에서도 글자의 윤곽을 완벽하게 재구성해냅니다. 마치 흐릿한 그림을 다른 사람의 도움을 받아 선명하게 그려내는 것과 같습니다.

4. 새로운 데이터: "지하철용 눈" 훈련 교재 (EvMetro5K)

이 기술을 가르치기 위해 연구팀은 **새로운 교재 (데이터셋)**를 만들었습니다.

• EvMetro5K: 지하철을 타고 20 시간 이상을 달리며 찍은 5,599 개의 쌍둥이 사진입니다. (일반 사진 + 이벤트 카메라로 만든 사진)
• 이 데이터는 비, 눈, 밤, 낮, 빠른 속도 등 다양한 상황을 포함하고 있어, 인공지능이 어떤 상황에서도 길을 찾을 수 있도록 훈련시킵니다.

5. 결과: 더 빠르고 정확한 "지하철의 눈"

실험 결과, 이 새로운 기술은 기존 방법들보다 훨씬 뛰어난 성과를 냈습니다.

• 정확도: 기존 기술이 80~90% 정도 정확했다면, 이 기술은 95% 이상의 정확도로 표지판을 읽었습니다.
• 효율성: 무거운 컴퓨터를 쓸 필요 없이, 비교적 가벼운 시스템으로도 높은 성능을 냅니다.

요약

이 논문은 **"어둡고 빠른 지하철 터널에서도 길을 잃지 않게 해주는, 일반 카메라와 초고속 센서를 결합한 새로운 인공지능 시스템"**을 개발했다는 것입니다. 마치 지하철이 어둠 속에서도 선명한 시력을 가진 눈을 갖게 되어, 안전하고 정확하게 목적지까지 갈 수 있게 된 셈입니다.

이 기술은 앞으로 자율 주행 지하철뿐만 아니라, 극한 환경에서 작동해야 하는 모든 로봇이나 차량의 '눈'을 밝히는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

논문 개요

이 논문은 지하철 (Metro) 의 GNSS 차단 환경 (터널 등) 에서 정확한 위치 추정을 위해 필수적인 거리 표지판 인식 (Kilometer Marker Recognition, KMR) 문제를 해결하기 위해 제안된 새로운 다중 모달 (Multi-modal) 접근법을 다룹니다. 저자들은 기존 RGB 카메라의 한계 (저조도, 고속 이동 시 모션 블러, 과노출 등) 를 극복하기 위해 **이벤트 카메라 (Event Camera)**를 도입하고, 사전 학습된 기반 모델 (Foundation Model) 과 하이퍼그래프 (Hypergraph) 기반의 프롬프트 학습 기법을 결합한 HGP-KMR 프레임워크를 제안했습니다.

---

1. 문제 정의 (Problem)

• 환경적 제약: 지하철은 터널 내 저조도, 지상 구간 과다 노출, 고속 주행으로 인한 모션 블러, 악천후 등 극한 환경에서 운영됩니다.
• 기존 기술의 한계: 기존 RGB 카메라만 의존하는 시각 인식 시스템은 이러한 극한 조건에서 거리 표지판 (Kilometer Marker) 의 텍스트를 정확하게 인식하는 데 실패하거나 신뢰도가 급격히 떨어집니다.
• 데이터 부재: RGB-Event 융합을 활용한 지하철 거리 표지판 인식을 위한 대규모 데이터셋이 존재하지 않았습니다.

2. 제안 방법론 (Methodology: HGP-KMR)

저자는 사전 학습된 기반 모델 (PARseq) 을 기반으로 한 HGP-KMR (RGB-Event HyperGraph Prompt for KMR) 프레임워크를 제안했습니다.

• 입력 전처리 및 재구성:
  • 이벤트 카메라의 비동기 이벤트 스트림을 회색조 이미지 (Grayscale Image) 로 재구성합니다.
  • RGB 프레임과 재구성된 이벤트 이미지를 함께 입력받아 배경 간섭을 줄이기 위해 미리 자릅니다 (Pre-cropping).
• 백본 네트워크 (Backbone):
  • Vision Transformer (ViT) 아키텍처를 기반으로 합니다.
  • RGB 이미지와 이벤트 (회색조) 이미지를 각각 토큰 시퀀스로 임베딩합니다.
• 하이퍼그래프 프롬프트 (Hypergraph Prompt) 모듈:
  • 하이퍼그래프 구성: RGB 토큰과 이벤트 토큰을 채널 차원에서 연결하여 통합 특징을 만든 후, 유클리드 거리 기반 K-NN(K-Nearest Neighbors) 을 사용하여 하이퍼그래프 구조를 구축합니다.
  • 고차원 상호작용 학습: 2 층의 하이퍼그래프 합성곱 신경망 (HGCN) 을 통해 RGB 와 이벤트 간의 고차원 (High-order) 상호작용을 포착하고 특징을 집계합니다.
  • 프롬프트 전략: 집계된 다중 모달 그래프 특징을 RGB 백본의 각 ViT 레이어에 레이어별 잔차 추가 (Layer-wise residual addition) 방식으로 주입합니다. 이는 RGB 특징 추출 과정에 이벤트 기반의 맥락을 지속적으로 보강하여 노이즈가 심하거나 열악한 조건에서도 강건한 인식을 가능하게 합니다.
• 디코더 (Decoder):
  • PARSeq 의 비 autoregressive (AR) 언어 모델링 방식을 차용하여, 다양한 순열 (Permutation) 을 통해 시퀀스 구조를 학습하고 텍스트를 생성합니다.

3. 주요 기여 (Key Contributions)

1. EvMetro5K 데이터셋 구축:
   • 지하철 환경에서 수집된 최초의 대규모 RGB-Event 다중 모달 데이터셋입니다.
   • 5,599 개의 동기화된 RGB-이벤트 쌍 (훈련 4,479 개, 테스트 1,120 개) 으로 구성되었으며, 다양한 조명, 날씨, 속도 조건을 포함합니다.
   • 데이터셋과 소스 코드는 오픈 소스로 공개됩니다.
2. HGP-KMR 프레임워크 제안:
   • 사전 학습된 기반 모델을 활용하여 RGB-Event 융합을 수행하는 새로운 방법론입니다.
   • 하이퍼그래프 기반 프롬프트를 통해 두 모달리티 간의 복잡한 관계를 학습하고, 이를 RGB 백본에 주입하여 인식 정확도를 극대화합니다.
3. 성능 입증:
   • 제안된 EvMetro5K 데이터셋뿐만 아니라 WordArt*, IC15* 등 공개 벤치마크에서도 기존 최첨단 (SOTA) 모델들을 압도하는 성능을 보였습니다.

4. 실험 결과 (Results)

• EvMetro5K 데이터셋:
  • 제안된 HGP-KMR 은 **95.1%**의 정확도를 기록하여, 기존 SOTA 모델 (CDistNet: 91.9%, PARSeq: 91.7%) 보다 우수한 성능을 보였습니다.
  • 단일 모달 (RGB 만 또는 Event 만) 입력 대비 약 10%p 이상 향상되었습니다.
• WordArt 및 IC15 데이터셋:**
  • 예술적 텍스트 및 자연계 텍스트 인식에서도 CDistNet 기반의 제안 방법은 각각 **91.5%**와 **92.9%**의 정확도를 달성하여 기존 방법들을 능가했습니다.
• 효율성:
  • 파라미터 수는 24.2M 로, MGP-STR(148M) 등에 비해 매우 경량화되어 있으면서도 높은 정확도를 유지했습니다.
  • 추론 속도는 약 89 FPS 로 실시간 처리가 가능합니다.
• Ablation Study:
  • 하이퍼그래프 프롬프트 전략이 단순 합산 (Addition) 이나 연결 (Concatenate) 방식보다 성능이 우수함을 입증했습니다.
  • ViT 의 모든 레이어에 하이퍼그래프 특징을 주입하는 것이 단일 레이어 주입보다 효과적이었습니다.

5. 의의 및 결론 (Significance)

• 지하철 자율 주행의 핵심 기술: GNSS 가 차단된 터널 환경에서도 정밀한 위치 추정이 가능하도록 하여, 지하철의 안전하고 정확한 운영에 기여합니다.
• 극한 환경 대응 능력: 저조도, 고속 이동, 모션 블러 등 RGB 카메라가 취약한 환경에서 이벤트 카메라의 높은 동적 범위 (HDR) 와 시간 해상도를 활용하여 인식 신뢰도를 획기적으로 높였습니다.
• 다중 모달 융합의 새로운 패러다임: 단순한 특징 결합을 넘어, 하이퍼그래프를 통해 모달리티 간의 고차원 관계를 학습하고 이를 기반 모델의 내부 레이어에 프롬프트로 주입하는 새로운 아키텍처를 제시했습니다.
• 오픈 벤치마크 제공: EvMetro5K 데이터셋 공개를 통해 향후 관련 연구 (거리 표지판 인식, 동적 장면 재구성 등) 를 위한 표준 벤치마크를 마련했습니다.

이 논문은 컴퓨터 비전, 특히 극한 환경에서의 텍스트 인식 및 자율 주행 분야에서 RGB-Event 융합 기술의 가능성을 입증한 중요한 연구로 평가됩니다.