GuideTWSI: A Diverse Tactile Walking Surface Indicator Dataset from Synthetic and Real-World Images for Blind and Low-Vision Navigation

이 논문은 맹인과 저시력자의 안전한 보행을 위해 기존 데이터셋의 한계를 극복하고 동서양 모두의 점자블록 (방향 유도형 및 경고형) 을 포괄하는 대규모 합성 및 실사 데이터셋 'GuideTWSI'를 제안합니다.

핵심

이 논문은 시각 장애인이나 저시력자가 안전하게 길을 찾을 수 있도록 돕는 '로봇 안내견'을 위해 만든 새로운 지도에 대한 이야기입니다.

이해하기 쉽게 세 가지 핵심 포인트로 나누어 설명해 드릴게요.

1. 문제: "길 안내 로봇이 길을 잃는 이유"

시각 장애인이 길을 갈 때, 발끝으로 느끼는 **점자 블록 (TWSI)**은 매우 중요합니다.

• 긴 줄무늬 블록: "이쪽으로 계속 가세요" (진행 방향 안내)
• 동그란 점 블록: "멈추세요! 위험합니다 (건널목, 계단 끝)" (경고)

지금까지 연구자들이 만든 데이터 (사진 자료) 는 대부분 **동아시아 (한국, 일본 등)**에서 주로 쓰이는 '긴 줄무늬 블록'에 집중되어 있었습니다. 마치 미국이나 유럽에서 '동그란 점 블록'을 찾아보려는데, 한국 지도만 들고 있는 상황과 비슷합니다.

그 결과, 로봇이 미국이나 유럽의 길에 나가면 "아, 여기는 멈춰야 하는 곳인데, 내 지도 (데이터) 에는 이런 모양이 없네?"라고 생각하며 멈추지 못하거나, 엉뚱한 곳에서 멈추는 실수를 저지릅니다.

2. 해결책: "가상의 현실을 만들어낸 마법 (GuideTWSI)"

연구진은 이 문제를 해결하기 위해 **세 가지 재료를 섞어 거대한 데이터베이스 (GuideTWSI)**를 만들었습니다.

• 재료 1: 진짜 로봇이 찍은 사진 (실제 데이터)
  • 미국과 유럽의 실제 길에서 로봇이 동그란 점 블록을 찍어 모았습니다. 하지만 양이 너무 적어 부족했습니다.
• 재료 2: 기존에 있던 사진들 (수집 데이터)
  • 인터넷에 흩어져 있던 점자 블록 사진들을 모았지만, 대부분 '줄무늬' 위주라 '동그란 점'을 가르치기엔 부족했습니다.
• 재료 3: 가상의 현실 (합성 데이터 - 가장 중요!)
  • 이게 바로 이 논문의 핵심입니다. 연구진은 **게임 엔진 (Unreal Engine)**을 이용해 가상의 도시를 만들었습니다.
  • 비가 오고, 해가 뜨고, 밤이 되고, 바닥 재질이 달라지는 등 실제 세상처럼 다양한 상황을 시뮬레이션했습니다.
  • 마치 비행기 조종사 훈련용 시뮬레이터처럼, 로봇이 실전에서 겪을 수 있는 모든 날씨와 조명, 각도에서 '동그란 점 블록'을 수만 번이나 보게 한 것입니다.

3. 결과: "로봇이 길을 완벽하게 멈추다"

이렇게 만든 **가상의 데이터 (시뮬레이션)**와 실제 데이터를 섞어 로봇에게 학습시켰더니 놀라운 결과가 나왔습니다.

• 학습 효과: 로봇이 동그란 점 블록을 찾는 정확도가 약 30% 이상이나 급격히 향상되었습니다. 마치 가상 비행 훈련을 받은 조종사가 실제 비행에서도 착륙을 완벽하게 하듯이, 로봇도 다양한 날씨와 조명에서도 블록을 정확히 인식하게 되었습니다.
• 실전 테스트: 실제 로봇을 미국과 유럽의 다양한 길 (도시, 교외, 주택가) 에 데려가 실험했습니다.
  • 로봇은 건널목이나 계단 끝 (동그란 점 블록) 에 도달하면 96% 이상의 성공률로 정확히 멈췄습니다.
  • 시각 장애인이 넘어질 위험이 있는 곳에서 로봇이 미리 멈춰서 사용자를 안전하게 보호했습니다.

요약: 왜 이 연구가 중요할까요?

이 연구는 **"로봇이 시각 장애인을 안내할 때, 단순히 '줄무늬'만 아는 게 아니라 전 세계 어디서나 '위험 신호 (동그란 점)'를 알아차릴 수 있어야 한다"**는 점을 증명했습니다.

게임처럼 가상 세계를 만들어 실전 능력을 키우는 방법을 통해, 앞으로 시각 장애인을 위한 로봇 안내견이 전 세계 어디서나 안전하게 길을 안내해 줄 수 있는 토대를 마련한 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 촉각 보행 지표 (Tactile Walking Surface Indicators, TWSI) 는 시각장애인 (BLV) 이 횡단보도, 플랫폼 가장자리, 위험 구역 등을 식별하고 안전하게 이동하는 데 필수적인 랜드마크입니다. TWSI 는 주로 **방향성 바 (Directional bars, 동아시아에서 주로 사용)**와 **단두형 돔 (Truncated domes, 북미 및 유럽에서 주로 사용)**으로 구성됩니다.
• 문제점:
  1. 데이터 부족 및 편향: 기존 도시 인식 데이터셋은 TWSI 가严重하게 부족하며, 기존 전용 데이터셋들도 주로 동아시아의 '방향성 바'에 치중되어 있습니다. 이로 인해 북미/유럽에서 주로 사용되는 '단두형 돔'에 대한 데이터가 극히 부족합니다.
  2. 관점의 한계: 기존 데이터는 인간의 시선 (1 인칭) 에 맞춰져 있어, 지상 로봇 (예: 4 발 보행 로봇) 이 필요한 낮은 각도나 상향/하향 (Top-down) 관점의 데이터가 부재합니다.
  3. 모델의 일반화 실패: 바 (Bar) 중심의 데이터로만 학습된 모델은 돔 (Dome) 기반의 경고 표지를 인식하지 못해, 안전이 중요한 환경에서 오작동 (미탐지 또는 불필요한 정지) 을 일으킵니다.
  4. 실제 적용의 부재: 현재까지 시각장애인을 위한 안내 로봇이 TWSI 를 시각적으로 인식하여 안전 정지 (Stop) 를 수행하는 시스템은 존재하지 않습니다.

2. 제안 방법 및 데이터셋 (Methodology & GuideTWSI Dataset)

저자들은 이러한 격차를 해결하기 위해 GuideTWSI라는 대규모 TWSI 데이터셋을 구축하고, 이를 활용한 로봇 정지 시스템을 개발했습니다. 데이터셋은 세 가지 주요 구성 요소로 이루어져 있습니다.

가. 데이터셋 구성 (GuideTWSI)

1. RBar-22K (실제 데이터 - 바): 기존 오픈소스 데이터셋 (SideGuide, Tenji10K, TP 등) 과 커뮤니티 데이터를 수집하여 일관성 있게 정제하고 라벨링한 약 22,000 개의 방향성 바 이미지.
2. RDome-2K (실제 데이터 - 돔): Unitree Go2 4 발 로봇에 장착된 카메라로 다양한 환경 (캠퍼스, 주거지, 교외 등) 에서 수집한 약 2,466 개의 단두형 돔 이미지. 로봇의 시점 (Egocentric, Top-down) 을 반영합니다.
3. SDome-15K (합성 데이터 - 돔): 가장 핵심적인 기여로, Unreal Engine 4 (UE4) 와 AirSim 을 기반으로 구축된 합성 데이터 생성 파이프라인을 통해 생성된 15,000 개 이상의 고품질 이미지입니다.
   • 특징: 다양한 조명, 날씨, 재질, 그리고 로봇에 적합한 다양한 관점 (원형 궤도, 상향 스윕 등) 을 시뮬레이션합니다. ADA(미국 장애인법) 규격에 부합하는 돔 모델을 사용하여 실제와 유사한 외관을 구현했습니다.

나. 합성 데이터 생성 파이프라인

• 엔진: Unreal Engine 4 + AirSim.
• 자동화: AirSim 을 통해 깊이 (Depth), 인스턴스 마스크, 바운딩 박스 등을 자동으로 주석 (Annotation) 하여 수동 라벨링 비용을 절감했습니다.
• 다양성: 조명 (햇빛, 흐림, 황혼), 날씨 (비, 안개), 재질 (노란색, 빨간색, 회색 등) 을 무작위로 변형하여 Sim-to-Real 갭을 줄였습니다.

다. 실험 설정

• 학습: RBar-22K(실제) 와 SDome-15K(합성) 를 결합하여 학습했습니다.
• 테스트: RDome-2K(실제 로봇 데이터) 를 테스트셋으로 사용하여 모델의 일반화 성능을 평가했습니다.
• 모델: YOLOv11-seg, Mask2Former, SAM2.1+UNet, DINOv3 기반 모델 등 최신 분할 (Segmentation) 모델들을 벤치마킹했습니다.

3. 주요 기여 (Key Contributions)

1. 시각장애인을 위한 고품질 합성 데이터 파이프라인: 다양한 조명, 날씨, 관점 조건에서 15,000 개 이상의 고품질 단두형 돔 합성 데이터를 생성하는 UE4 기반 파이프라인을 개발했습니다.
2. GuideTWSI 데이터셋 공개: 정제된 오픈소스 데이터, 합성 데이터, 실제 로봇 수집 데이터를 통합한 대규모 데이터셋과 코드, 사전 학습된 모델 가중치를 공개했습니다.
3. 실제 로봇에서의 안전 정지 검증: 합성 데이터 증강이 분할 성능을 획기적으로 향상시켰으며, 이를 통해 실제 4 발 안내 로봇이 단두형 돔에서 96.15% 의 성공률로 정지하는 것을 세계 최초로 입증했습니다.

4. 실험 결과 (Results)

가. 분할 성능 향상 (Segmentation Performance)

• 실제 데이터만 학습 시: 기존 데이터 (RBar) 로만 학습한 모델은 단두형 돔에 대해 낮은 재현율 (Recall) 을 보였습니다. (예: Mask2Former mIoU 0.5777).
• 합성 데이터 증강 시: SDome-15K 를 추가 학습시킨 결과, 모든 모델에서 성능이 크게 향상되었습니다.
  • mIoU 향상: DINOv3+EoMT 모델은 0.5804 에서 0.8756 으로 (+0.2952) 급격히 상승했습니다. Mask2Former 도 0.2598 포인트 향상되었습니다.
  • 재현율 개선: 합성 데이터를 통해 누락된 돔 영역을 효과적으로 탐지하게 되어 재현율이 크게 개선되었습니다.

나. 실제 로봇 배포 및 정지 성능 (Robot Deployment)

• 하드웨어: Unitree Go2 로봇 + RealSense D435 카메라 (하향 70 도) + NVIDIA Jetson AGX Orin.
• 정지 전략: 분할 마스크에서 로봇에 가장 가까운 돔 픽셀을 식별하여, 이미지 상단 기준 특정 높이 (예: 10%) 를 넘어서면 정지 명령을 실행합니다.
• 성능:
  • 정지 성공률: 104 회 시도 중 96.15% (100/104) 의 성공률을 기록했습니다.
  • 정지 거리: 평균 약 39cm (돔 시작점 기준) 에서 안전하게 정지하여 사용자가 다음 단계 (횡단보도 진입 등) 를 준비할 수 있는 공간을 확보했습니다.
  • 오작동: 위양성 (False Positive, 돔이 없는데 정지) 은 전혀 발생하지 않았습니다. 실패 사례는 극심한 렌즈 플레어 등 극한 환경에서 발생했으나, 완전히 탐지하지 못한 경우보다는 늦게 탐지하여 정지하는 수준이었습니다.

5. 의의 및 결론 (Significance)

• 안전한 로봇 안내의 실현: 이 연구는 시각장애인을 위한 로봇이 TWSI 를 시각적으로 인식하여 안전 정지를 수행할 수 있음을 입증했습니다. 이는 기존에 인간 훈련 (Guide Dog) 에 의존하던 방식을 기술적으로 보완하는 중요한 진전입니다.
• 데이터 편향 해소: 동아시아 중심의 '바' 데이터 편향을 해소하고, 북미/유럽 표준인 '돔' 데이터를 풍부하게 제공함으로써 전 세계적 적용 가능성을 높였습니다.
• 합성 데이터의 효용성: 실제 데이터 수집의 한계 (비용, 지리적 제약) 를 극복하고, 합성 데이터가 실제 로봇의 안전 핵심 작업 (Safety-critical task) 에 필수적임을 입증했습니다.

결론적으로, GuideTWSI는 시각장애인을 위한 자율 이동 보조 로봇의 안전성과 신뢰성을 높이기 위한 핵심 인프라를 제공하며, 합성 데이터와 실제 데이터의 융합이 로봇 비전 분야에서 어떻게 혁신을 이끌 수 있는지를 보여주는 사례입니다.