Lang2Lift: A Language-Guided Autonomous Forklift System for Outdoor Industrial Pallet Handling

이 논문은 비정형적인 야외 환경에서 자연어 명령을 통해 목표 팔레트를 식별하고 6D 포즈를 추정하여 자율 포크리프트가 팔레트 적재 작업을 수행할 수 있도록 하는 'Lang2Lift' 시스템을 제안하고 실증합니다.

핵심

🚜 "Lang2Lift": 말로 지시하는 똑똑한 지게차의 이야기

이 논문은 **"말만 하면 알아서 물건을 들어주는 지게차"**를 개발한 연구입니다. 기존의 지게차는 정해진 길만 따라가거나 미리 프로그래밍된 물건만 들어올릴 수 있었지만, 이 새로운 시스템은 사람이 **"그 옆에 있는 시멘트 블록이 실린 팔레트 들어와"**라고 말하면, 그 말대로 찾아서 들어올립니다.

이 기술을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드릴게요.

---

1. 문제 상황: "눈이 먼" 지게차와 "혼란스러운" 현장

기존의 자동화 지게차는 매우 똑똑하지만 매우 고집 센 로봇이라고 생각하세요.

• 기존 방식: "A 구역의 1 번 팔레트를 들어라"라고 미리 정해져 있어야 합니다. 만약 팔레트가 조금이라도 비틀어져 있거나, 날씨 때문에 눈이 오거나, 주변에 다른 물건들이 쌓여 있으면 지게차는 "무엇이 팔레트인지 모르겠다"며 멈춰 서버립니다.
• 현실: 건설 현장이나 물류 창고는 날씨도 변하고, 물건도 제멋대로 쌓여 있는 혼란스러운 곳입니다. 이런 곳에서 지게차가 일하려면 사람이 직접 조종해야 했습니다.

2. 해결책: Lang2Lift (Lang2Lift = 언어 + 들어올리기)

연구팀은 이 지게차에게 **새로운 '눈'과 '귀'**를 달아주었습니다.

🧠 귀: "자연어 이해" (사람의 말을 알아듣기)

지금은 지게차에게 **"그 옆에 있는 빨간 팔레트"**나 **"트럭 뒤에 있는 시멘트 더미"**라고 말하면 됩니다.

• 비유: 마치 유능한 비서가 있습니다. 사장님이 "저기 있는 빨간 상자를 가져와"라고 말하면, 비서는 그 말의 뉘앙스를 파악해 정확한 물건을 찾아냅니다.
• 기술: 'Florence-2'라는 거대 인공지능 모델을 써서, 사람의 말과 카메라 이미지를 연결합니다.

👁️ 눈: "정교한 분해" (물체의 경계를 정확히 보기)

말만 듣고는 부족합니다. 정확히 어디를 집어야 할지 알아야 하죠.

• 비유: 비서가 물건을 찾았으면, 이제 정밀한 현미경을 켭니다. 'SAM-2'라는 도구를 써서 팔레트의 가장자리를 픽셀 단위로 정확히 잘라냅니다.
• 효과: 눈이 어둡거나, 눈이 쌓여 있거나, 다른 물건에 가려져 있어도 "아, 이 부분이 팔레트구나!"라고 정확히 구분해냅니다.

📐 손: "정밀한 포지셔닝" (집게를 정확히 끼우기)

물건을 찾았다고 해서 바로 들면 안 됩니다. 지게차의 집게 (포크) 가 팔레트 구멍에 정확히 들어가야 하죠.

• 비유: 마술사의 손처럼 정확합니다. 3 차원 공간에서 팔레트의 위치를 계산하고, 지게차의 집게가 들어갈 최적의 각도와 높이를 계산합니다.
• 특이점: 팔레트는 대칭이라서 앞뒤가 헷갈릴 수 있는데, 이 시스템은 "집게가 들어갈 방향"을 자동으로 판단해서 180 도 틀어지지 않게 보정해 줍니다.

---

3. 실제 실험: "현장 테스트"

연구팀은 오스트리아의 야외 현장에서 이 지게차를 시험했습니다.

• 상황: 햇빛이 강한 날, 눈이 오는 날, 어두운 날, 물건이 빽빽하게 쌓인 곳 등 다양한 조건에서 테스트했습니다.
• 결과:
  • 말로 지시: "왼쪽의 시멘트 블록 팔레트"라고 말하면 성공적으로 찾아냈습니다.
  • 정확도: 팔레트 모양을 정확히 그리는 능력 (IoU) 이 평균 0.59 로, 특히 어두운 곳에서는 0.80 이상으로 매우 잘 작동했습니다.
  • 속도: 말로 지시하고 팔레트를 찾아 집게를 끼우는 데 약 1.5 초 정도 걸렸습니다. 지게차가 천천히 움직이는 현장에서는 충분히 빠른 속도입니다.

4. 한계점: 아직 완벽하지는 않아요

물론 아직 해결해야 할 문제도 있습니다.

• 말의 애매함: "그것"이나 "저것"처럼 너무 모호하게 말하면 헷갈릴 수 있습니다. (비유: "저기 있는 것"이라고 하면 여러 개가 있을 때 혼란이 옵니다.)
• 완전한 가림: 팔레트가 완전히 다른 물건 뒤에 가려져 있으면 찾을 수 없습니다.
• 속도: 인공지능이 무거운 작업을 하느라, 아주 빠른 속도로 움직이는 상황에는 아직 약합니다.

5. 결론: 왜 이 연구가 중요할까?

이 연구는 **"로봇에게 코딩을 가르치는 게 아니라, 사람처럼 대화하게 만드는 것"**의 가능성을 보여줍니다.

• 미래: 앞으로 건설 현장이나 물류 센터에서 숙련된 운전자가 부족해지더라도, 일반 직원이나 관리자도 **"저기 있는 거 들어와"**라고 말만 하면 지게차가 알아서 일해줄 수 있게 됩니다.
• 핵심: 새로운 알고리즘을 invention(발명) 하는 것보다, 이미 있는 강력한 인공지능 (Foundation Model) 을 실제 현장에 어떻게 잘 적용할지에 초점을 맞췄다는 점이 가장 큰 의의입니다.

한 줄 요약:

"Lang2Lift는 지게차에게 '눈'과 '귀'를 달아주어, 사람이 말로 지시하면 복잡한 현장에서도 알아서 물건을 찾아 들어올리는 똑똑한 조수입니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 야외 물류 및 건설 현장에서의 팔레트 자동화 처리는 숙련된 작업자 부족과 효율성 향상 필요성으로 인해 중요해지고 있습니다.
• 현재 한계: 기존 자동화 시스템은 사전에 프로그래밍된 고정된 특성 (rigid characteristics) 에 의존합니다. 이는 새로운 팔레트 유형, 예상치 못한 방향, 복잡한 장면 (cluttered scenes) 에 대처하는 적응력을 떨어뜨립니다.
• 핵심 과제: 야외 환경은 조명 변화, 다양한 화물 구성, 비정형적인 공간 배치 등 변수가 많습니다. 따라서 인간 작업자가 자연스럽게 "크레인 근처의 강철 빔 팔레트를 들어 올려라"와 같은 자연어 명령을 내릴 수 있도록, 자연어 지시를 통해 특정 팔레트를 식별하고 선택하여 자동으로 조작하는 유연한 시스템이 필요합니다. 기존 CNN 기반 방법들은 특정 데이터셋에 국한되어 야외 환경에서 일반화 성능이 떨어지며, 화물의 종류를 구분하는 능력이 부족합니다.

2. 제안 방법론 (Methodology: Lang2Lift Framework)

Lang2Lift 는 훈련이 필요 없는 (training-free) 파운데이션 모델 (Foundation Models) 을 활용하여 자연어 명령을 실행 가능한 조작 자세 (pose) 로 변환하는 엔드 - 투 - 엔드 시스템입니다.

A. 지각 파이프라인 (Perception Pipeline)

세 단계로 구성된 폐쇄 루프 (closed-loop) 자율성 파이프라인입니다.

1. 자연어 기반 객체 분할 (Language-driven Object Segmentation):

   • 명령 해석: 자연어 명령을 구문 분석하여 객체 유형, 시각적 설명, 공간적 관계, 문맥 참조 등을 추출합니다.
   • 탐지 (Detection): Florence-2 (Vision-Language Foundation Model) 를 사용하여 지시 표현 (referring expression) 에 기반한 객체 탐지를 수행합니다.
   • 세분화 (Segmentation): 탐지된 바운딩 박스를 SAM-2 (Segment Anything Model 2) 에 입력하여 픽셀 단위의 정밀한 분할 마스크를 생성합니다. 이는 정확한 6D 자세 추정을 위해 필수적입니다.

2. 자세 처리 모듈 (Pose Processing Module):

   • 6D 자세 추정: RGB-D 데이터와 생성된 마스크, 그리고 팔레트 CAD 모델을 FoundationPose에 입력하여 초기 6D 자세 (회전 및 이동) 를 추정합니다.
   • 기하학적 정제 (Geometric Refinement): 팔레트의 대칭성으로 인해 발생할 수 있는 방향 모호성을 해결합니다.
     • 카메라 위치 대비 팔레트의 로컬 x 축 방향을 평가하여 올바른 삽입 방향을 결정합니다.
     • 포크 삽입 지점에 최적화된 기준 좌표계로 변환 (90 도 회전 및 특정 거리 이동) 하여 포크가 팔레트 구멍에 정확히 들어갈 수 있도록 보정합니다.

3. 시간적 자세 추적 (Temporal Pose Tracking):

   • 차량 오도메트리, GNSS, 그리고 지각 파이프라인의 검출 결과를 통합하여 iSAM2 기반의 확률적 추정 프레임워크를 사용합니다. 이를 통해 동적인 주행 중에도 25Hz 로 안정된 자세 추적을 유지합니다.

B. 계획 및 제어 파이프라인 (Planning and Control Pipeline)

• 운동 계획: 비정형 야외 환경을 위한 Hybrid A* 알고리즘을 사용하여 충돌 없는 경로를 생성합니다. 관절형 지게차의 운동학을 고려하여 전진/후진 조작을 지원합니다.
• 차량 제어: Lyapunov 기반의 제어 법칙으로 경로를 추종하며, 포크의 정밀한 위치 조정을 위해 포크 센서 피드백과 PI(D) 제어기를 활용한 유압 밸브 제어를 수행합니다.

3. 주요 기여 (Key Contributions)

1. 실외 환경용 엔드 - 투 - 엔드 시스템: 자연어 지시를 통해 야외 산업 환경에서 유연한 팔레트 선택 및 회수를 가능하게 하는 시스템을 구축하고, 실제 전 규모 자율 지게차 플랫폼 (ADAPT) 에 배포했습니다.
2. 실용적 통합 (Practical Integration): 학습 기반 알고리즘의 새로움보다는, 파운데이션 모델 기반 지각을 운동 계획 및 제어와 통합하는 엔지니어링적 접근과 폐쇄 루프 자율성 파이프라인의 실용적 통합을 강조합니다.
3. 허용 오차 기반 정량적 평가: 지각 및 자세 추정 정확도가 실제 팔레트 조작의 실행 가능성 (fork insertion feasibility) 과 어떻게 직접적으로 연결되는지를 허용 오차 (tolerance) 기준 (측면 ±0.05m, 수직 ±0.04m) 으로 평가했습니다.
4. 배포 한계 및 실패 사례 분석: 실제 운영 중 관찰된 시스템 타이밍, 실패 사례, 배포 한계를 분석하여 산업 자동화 시스템에 언어 기반 지각을 적용할 때의 실질적인 통찰을 제공했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋: 야외 환경 (맑음, 눈, 저조도, 가림) 에서 수집된 129 장의 이미지와 387 개의 명령 - 이미지 쌍으로 구성된 데이터셋을 사용했습니다.
• 분할 성능:
  • 제안된 방법 (Florence-2 + SAM-2) 은 전체적으로 mIoU 0.587, **IoU ≥ 0.5 성공률 60.47%**를 기록했습니다.
  • 저조도 조건에서 특히 우수한 성능 (mIoU 0.805, 성공률 83.33%) 을 보였으며, 이는 문맥적 단어가 시각적 신호가 약할 때 대상 식별에 도움을 줌을 시사합니다.
  • SAM-2 제거 실험: 마스크 정제 단계가 없으면 성공률이 급격히 하락하여 (SR@0.75 8.53%), 정밀한 경계 분할이 6D 자세 추정에 필수적임을 입증했습니다.
• 자세 추정 정확도:
  • FoundationPose 를 사용하여 YCB-Video 벤치마크에서 SOTA 성능을 보였습니다.
  • 실제 지게차 조작 허용 오차 (측면 ±0.05m, 수직 ±0.04m) 내에서 성공적인 포크 삽입이 가능한 정확도를 달성했습니다. 특히 15 도 이내의 각도에서 신뢰할 수 있는 결과를 보였습니다.
• 타이밍 분석:
  • 전체 지각 파이프라인 (명령 입력부터 자세 추정까지) 의 주기는 약 1.05 초 (약 0.95Hz) 입니다.
  • 계획 및 제어까지 포함한 전체 루프는 약 1.45 초입니다. 저속 주행이 필요한 야외 지게차 작업에는 안전하고 정확한 제어를 유지하기에 충분한 속도입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 의의: Lang2Lift 는 자연어 인터페이스를 통해 인간과 로봇의 소통 간극을 해소하고, 복잡한 야외 환경에서도 유연하게 작업할 수 있는 자율 지게차 시스템의 실현 가능성을 입증했습니다.
• 실무적 통찰:
  • 자연어 명령의 모호성 (문법적 차이, 복잡한 공간 관계) 과 완전한 가림 (occlusion) 이 주요 실패 원인임을 확인했습니다.
  • 알고리즘적 혁신보다는 허용 오차 인식 (tolerance-aware) 자세 처리, 시간적 추적, 저속 제어 전략의 결합이 산업 자동화 시스템 배포에 더 중요함을 강조했습니다.
  • 파운데이션 모델을 산업 시스템에 통합할 때의 지연 시간 (latency), 강건성, 배포 제약에 대한 구체적인 엔지니어링 로드맵을 제시했습니다.

이 연구는 자연어 기반 지각을 산업용 자동화 시스템에 통합하는 데 있어 중요한 이정표가 되며, 향후 센서 중복화, 지연 시간 단축, 시스템 수준의 강건성 향상 등을 통해 지속적인 개선이 가능함을 보여줍니다.