SToRM: Supervised Token Reduction for Multi-modal LLMs toward efficient end-to-end autonomous driving

이 논문은 자율주행 환경에서 다중 모달 LLM 의 연산 비용을 최대 30 배까지 줄이면서도 모든 토큰을 사용할 때와 동등한 성능을 유지하기 위해, 토큰 중요도 예측, 감독 학습, 그리고 어노커 - 컨텍스트 병합 모듈을 활용한 'SToRM'이라는 새로운 프레임워크를 제안합니다.

핵심

이 논문은 자율주행 자동차가 더 똑똑해지면서 생기는 '머리 싸매는' 문제를 해결하는 새로운 방법을 제안합니다.

제목인 SToRM은 "Supervised Token Reduction"의 약자로, 한국어로 쉽게 풀면 **"중요한 것만 골라내는 지능형 필터"**라고 생각하시면 됩니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

---

🚗 1. 문제 상황: "너무 많은 정보에 질린 운전기사"

자율주행 자동차는 카메라, 라이다 (거리 측정기) 같은 센서에서 엄청난 양의 데이터를 받습니다. 마치 운전기사가 차창 밖을 보는데, 매초마다 수천 장의 사진을 찍어서 뇌에 주입하는 상황과 비슷합니다.

• 기존 방식 (MLLM): 최근의 거대 인공지능 (LLM) 은 이 모든 사진 조각 (토큰) 을 다 분석해서 "앞에 사람이 보이니까 멈춰라", "차선이 바뀌니까 좌회전해라"라고 명령을 내립니다.
• 문제점: 하지만 자동차 컴퓨터는 그 많은 사진을 모두 처리하려고 하면 너무 바빠져서 (계산량이 폭발해서) 속도가 느려집니다. 자율주행은 실시간으로 반응해야 하므로, 1 초라도 지체하면 사고가 날 수 있습니다.
• 기존 해결책의 한계: "그럼 사진 조각을 좀 덜어내자"라고 해서 무작정 버리거나, 단순한 규칙으로 줄이면, 중요한 정보 (예: 갑자기 튀어나온 아이) 를 놓쳐서 운전 실수가 늘어납니다.

💡 2. SToRM 의 해결책: "현명한 비서"가 정보를 정리해 드립니다

이 논문은 **"모든 정보를 다 보지 않아도, 중요한 정보만 골라내면 똑똑하게 운전할 수 있다"**는 아이디어를 제시합니다. 이를 위해 세 가지 핵심 장치를 만들었습니다.

① '중요도 예측기' (The Importance Predictor)

비유: "이 사진 조각이 운전 결정에 얼마나 중요한지 미리 점수를 매기는 현명한 비서"

• 모든 사진을 다 볼 필요 없이, 비서가 "이건 중요해 (점수 100 점), 저건 그냥 배경이야 (점수 10 점)"라고 미리 점수를 매겨줍니다.
• 이 비서는 짧은 시간 동안의 움직임 (예: 앞차가 갑자기 멈춤) 과 화면 속의 관계를 빠르게 파악하도록 설계되어 있어, 계산 속도가 매우 빠릅니다.

② '가상 선생님' (Pseudo-supervision)

비유: "모든 정보를 다 본 '수석 선생님'이 비서에게 정답을 알려주는 방식"

• 보통은 "어떤 정보가 중요한지"를 가르치기 위해 정답 데이터가 필요한데, 그런 데이터가 없습니다.
• 그래서 연구팀은 일단 모든 정보를 다 넣어서 AI 가 어떻게 반응하는지 (주의 집중도) 를 먼저 확인합니다.
• "아, 수석 선생님이 이 부분에 집중했구나!"라는 신호를 **가상 정답 (Pseudo-supervision)**으로 삼아, 위의 '현명한 비서'를 훈련시킵니다. 이렇게 하면 비서도 나중에 혼자서 중요한 것을 잘 골라낼 수 있게 됩니다.

③ '앵커 - 컨텍스트 병합' (Anchor-Context Merging)

비유: "핵심 인물 (앵커) 에 주변 배경 (컨텍스트) 을 붙여 하나로 합치는 스마트 정리법"

• 비서가 점수를 매긴 후, **가장 중요한 사진 조각들 (앵커)**은 그대로 두고, **덜 중요한 조각들 (컨텍스트)**은 가장 관련 있는 중요한 조각에 합쳐버립니다.
• 예시:
  • 앵커: 보행자, 차선, 앞차 (이건 절대 버릴 수 없음).
  • 컨텍스트: 도로의 그림자, 배경의 나무, 하늘 구름 (이건 중요도가 낮음).
  • 작동: "보행자 (앵커)" 주변에 있는 "도로 그림자 (컨텍스트)" 정보를 보행자 정보에 살짝 섞어서 보냅니다.
  • 결과: 정보의 양은 확 줄었지만, 핵심적인 판단 근거는 그대로 유지됩니다.

🚀 3. 어떤 효과가 있나요?

이 방법을 적용한 결과, 놀라운 성과가 나왔습니다.

• 속도 30 배 향상: 컴퓨터가 처리해야 할 데이터 양을 30 분의 1 로 줄였습니다.
• 실시간 운전 가능: 일반 그래픽 카드 (GPU) 하나만으로도 실시간으로 자율주행이 가능해졌습니다.
• 성능 유지: 정보를 줄였는데도, 모든 정보를 다 봤을 때와 똑같은 운전 실력을 냈습니다. 오히려 기존에 정보를 줄이던 다른 방법들보다 운전이 더 안전하고 정확해졌습니다.

📝 한 줄 요약

"자율주행 AI 가 너무 많은 정보를 먹어서 배탈 (계산 과부하) 나지 않도록, '중요한 것만 골라주는 비서'와 '핵심만 남기는 정리법'을 도입해서, 빠르고 똑똑하게 운전할 수 있게 만들었습니다."

이 기술이 상용화되면, 앞으로 더 저렴하고 빠른 자율주행 자동차를 타실 수 있게 될 것입니다!

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자율주행 분야에서 센서 데이터로부터 직접 제어 명령을 예측하는 End-to-End (E2E) 주행 시스템이 크게 발전했습니다. 특히, 예측 불가능한 상황에서 안전성을 높이기 위해 자연어 지시 (Human intervention) 를 활용하는 멀티모달 대규모 언어 모델 (MLLM) 을 도입하는 추세입니다.
• 문제점:
  • MLLM 은 다양한 센서 (카메라, 라이다 등) 로부터 생성된 방대한 수의 시각 토큰 (Visual Tokens) 을 처리해야 합니다.
  • LLM 의 어텐션 (Attention) 메커니즘은 입력 길이에 따라 계산 복잡도가 2 차 (Quadratic) 로 증가하므로, 많은 시각 토큰을 처리할 경우 추론 속도가 급격히 저하됩니다.
  • 기존 연구들 (Q-Former 등) 은 토큰 수를 줄여 계산 비용을 낮추려 했으나, 이는 종종 주행 성능 (Driving Performance) 의 저하를 초래했습니다.
  • 자율주행 차량은 제한된 컴퓨팅 자원을 가지므로, 실시간 (Real-time) 운영을 위해 계산 효율성을 높이면서도 성능을 유지하는 것이 핵심 과제입니다.

2. 제안 방법론: SToRM (Methodology)

이 논문은 MLLM 기반 E2E 주행에서 지시된 (Supervised) 토큰 축소 프레임워크인 SToRM을 제안합니다. 핵심 아이디어는 MLLM 의 중간 결과 (전체 토큰을 사용한 어텐션 점수) 를 가짜 지도 신호 (Pseudo-supervision signals) 로 활용하여, 어떤 시각 토큰이 중요한지 학습하는 것입니다.

SToRM 은 크게 세 가지 핵심 요소로 구성됩니다.

가. 가짜 지도 신호 생성 (Pseudo-supervision Signals)

• 모든 시각 토큰을 축소 없이 LLM 에 통과시켜 얻은 최종 디코더의 어텐션 점수 (Attention Scores) 를 추출합니다.
• LLM 에서 높은 어텐션을 받는 토큰이 하류 작업 (주행 결정) 에 더 중요하다는 가정 하에, 이를 '진짜' 중요도 (Ground Truth) 대신 가짜 지도 신호로 사용하여 중요도 예측기를 학습시킵니다.

나. 경량 중요도 예측기 (Lightweight Importance Predictor)

• 목적: 모든 시각 토큰의 중요도 점수를 낮은 계산 비용으로 예측.
• 아키텍처: MLP-Mixer 기반의 새로운 구조를 사용하며, 단기 슬라이딩 윈도우 (Short-term sliding windows) 를 도입했습니다.
  • 시 - 시간적 혼합 (Spatio-temporal mixing): 전체 토큰 시퀀스 대신 윈도우 내의 국소적인 시간적 맥락 (최근 프레임들) 과 공간적 관계를 포착합니다. 이는 전체 시퀀스에 대한 계산 복잡도를 줄여줍니다.
  • 채널 혼합 (Channel mixing): 토큰 내부의 임베딩 차원 간 상호작용 (Cross-channel dependencies) 을 모델링하여 토큰 표현을 풍부하게 합니다.
• 효과: 기존 Transformer 기반 접근법 대비 계산 복잡도를 획기적으로 낮추면서도 필요한 시 - 시간적 맥락을 유지합니다.

다. 앵커 - 컨텍스트 토큰 병합 모듈 (Anchor-Context Token Merging, ACM)

• 목적: 예측된 중요도 점수를 기반으로 토큰 수를 줄이면서 정보 손실을 최소화.
• 작동 방식:
  1. 분류: 중요도 점수가 높은 상위 K 개 토큰을 '앵커 (Anchor)', 나머지를 '컨텍스트 (Context)' 로 분류합니다.
  2. 병합: 각 컨텍스트 토큰을 가장 관련성이 높은 단일 앵커 토큰에 하드 어サイン먼트 (Hard assignment, Gumbel-Softmax 및 STE 사용) 로 병합합니다.
  3. 잔차 연결: 병합된 정보를 앵커의 원래 표현에 더하여 (Residual merge), 중요한 시각적 단서를 보존합니다.
• 장점: 중복 정보를 제거하면서도 결정에 필수적인 정보 (앵커) 는 유지하여 성능 저하를 방지합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 지도형 토큰 축소 프레임워크: E2E 주행 MLLM 에서 가짜 지도 신호를 활용하여 중요도 인지 토큰 축소를 수행하는 최초의 프레임워크 (SToRM) 를 제안했습니다.
2. 경량 중요도 예측기: 전체 시퀀스 의존성이 아닌 단기 시 - 시간적 관계와 토큰 내 채널 간 의존성을 모델링하는 효율적인 MLP-Mixer 기반 예측기를 설계했습니다.
3. 효율적인 병합 모듈 (ACM): 중요도 기반의 앵커 - 컨텍스트 분류와 하드 병합 방식을 통해 토큰 수를 줄이면서도 핵심 정보를 보존하는 새로운 모듈을 제안했습니다.
4. 성능 입증: LangAuto 벤치마크에서 기존 SOTA 모델 대비 동일한 토큰 예산 하에 더 높은 주행 성능을 달성했으며, 계산 비용을 최대 30 배까지 감소시켜 표준 GPU 에서 실시간 E2E 주행이 가능하도록 했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋: LangAuto 벤치마크 (CARLA 시뮬레이터 기반, 다양한 주행 시나리오 및 환경 조건 포함).
• 비교 대상:
  • 모든 토큰을 사용하는 LMDrive (All-token).
  • 기존 SOTA 토큰 축소 모델 (Q-Former, ToMe, LLaVA-PruMerge, VisionZip 등).
  • 다양한 LLM 백본 (LLaVA 7B, TinyLLaVA 1.5B).
• 주요 성과:
  • 성능: SToRM 은 모든 토큰을 사용하는 모델 (All-token LMDrive) 과 비슷하거나 더 나은 주행 점수 (DS, RC, IS) 를 기록했습니다.
  • 효율성:
    • 계산 비용 (FLOPs) 을 약 30 배 (대형 LLM 기준) 감소시켰습니다.
    • 메모리 사용량을 크게 줄였으며, 초당 프레임 수 (FPS) 가 25~36 으로 실시간 추론이 가능해졌습니다.
  • 기타 방법론 대비: 기존 휴리스틱 기반 (유사도 기반 등) 토큰 축소 방법들보다 지시된 (Supervised) 학습을 통해 주행 성능과 효율성 모두에서 우월한 성능을 보였습니다.
  • 아키텍처 분석: 슬라이딩 윈도우 메커니즘과 하드 병합 (Hard merging) 전략이 성능 유지와 계산 효율성 확보에 결정적인 역할을 함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 제한된 컴퓨팅 자원을 가진 자율주행 차량에서 MLLM 을 효과적으로 활용하기 위한 중요한 해결책을 제시합니다.

• 실시간성 확보: MLLM 의 높은 계산 부하를 해결하여, 복잡한 시나리오에서도 자연어 지시를 포함한 실시간 E2E 주행이 가능해졌습니다.
• 성능 - 효율성 트레이드오프 극복: 기존에는 토큰을 줄이면 성능이 떨어지는 문제가 있었으나, SToRM 은 지시된 학습을 통해 성능 저하 없이 계산 비용을 대폭 절감하는 방법을 증명했습니다.
• 미래 방향: 이 프레임워크는 자율주행뿐만 아니라 다른 실시간 멀티모달 애플리케이션에서도 토큰 효율성을 높이는 데 적용될 수 있는 잠재력을 가집니다.

요약하자면, SToRM은 MLLM 의 계산 병목 현상을 해결하면서도 주행 안전성과 성능을 유지하기 위해, 가짜 지도 신호를 활용한 중요도 예측과 효율적인 토큰 병합 전략을 결합한 혁신적인 프레임워크입니다.