1. 문제 정의 (Problem)

자율주행 시스템의 개발과 평가를 위해서는 현실적이고 제어 가능한 교통 장면 (Traffic Scene) 이 필수적입니다. 그러나 기존 접근 방식에는 다음과 같은 한계가 존재합니다.

• 실제 데이터의 한계: 실제 도로 데이터 수집은 안전 문제와 통제 불가능성으로 인해 위험 상황 (사고, 급제동 등) 을 충분히 확보하기 어렵습니다.
• 기존 시뮬레이션의 제약: CARLA 나 MetaDrive 와 같은 기존 시뮬레이터는 무작위 샘플링이나 기존 궤적 재생에 의존합니다. 무작위 샘플링은 다양성을 보장하지만 특정 실패 모드나 엣지 케이스를 의도적으로 생성하기 어렵고, 재생 기반 방식은 수집된 데이터 분포에 제한되어 새로운 시나리오 생성이 어렵습니다.
• 자연어 기반 생성의 미해결 과제: 최근 연구들은 자연어 지시를 사용하지만, 대부분 구조화된 입력을 요구하거나, 미리 정의된 스폰 포인트 (Spawn point) 와 경로가 필요하며, 교통 신호나 정적 객체 등 환경 조건을 고려하지 못하는 경우가 많습니다.

이 논문은 미리 정의된 맵이나 스폰 포인트 없이, 자유 형식 (Free-form) 의 자연어 설명만으로 공간적으로 유효하고 의미적으로 일관된 교통 장면을 생성하는 문제를 해결하고자 합니다.

2. 제안 방법론 (Methodology)

저자들은 TTSG (Text-to-Traffic Scene Generation) 라는 모듈형 프레임워크를 제안합니다. 이 프레임워크는 학습이 필요 없는 (Training-free) 파이프라인으로, 대형 언어 모델 (LLM) 을 일반 계획자 (General Planner) 로 활용하되, 구조와 실현 가능성을 보장하기 위해 엄격하게 통제된 파이프라인으로 통합되었습니다.

주요 단계는 다음과 같습니다:

1. 로드 그래프 및 에이전트 세트 구축 (Construction):

   • CARLA 맵을 OpenDRIVE 형식으로 변환하여 도로 네트워크를 그래프로 구성합니다.
   • 도로 신호, 정적 객체, 교차로, 차선 구성 등을 노드와 엣지로 표현하여 효율적인 쿼리를 가능하게 합니다.
   • 에이전트 (차량, 보행자, 응급 차량 등) 를 유형별로 분류하여 데이터베이스를 구축합니다.

2. 프롬프트 분석 (Prompt Analysis):

   • LLM 을 사용하여 사용자의 자연어 입력을 명시적인 요소 (필요한 신호, 객체, 에이전트 구성 등) 로 분해합니다.
   • 체인 오브 씽킹 (CoT) 방식보다 토큰 사용을 줄이면서 정확한 맥락을 추출하는 분석 모드를 사용합니다.

3. 도로 후보 검색 (Road Candidate Retrieval):

   • 분석된 맥락과 원본 프롬프트를 기반으로 LLM 이 필터링 조건 (차선 수, 신호 유무, 객체 유무 등) 을 생성합니다.
   • 이 조건을 로드 그래프에 적용하여 적합한 도로 후보 집합 ($R_c$) 을 검색합니다.

4. 에이전트 계획 (Agent Planning):

   • LLM 이 에이전트의 유형, 상대적 위치, 행동 (정지, 직진, 좌회전 등) 을 구체적으로 계획합니다.
   • ego 차량 기준의 8 방향 상대 위치 및 에이전트 간의 상대적 거리/위치를 정밀하게 제어할 수 있습니다.

5. 계획 인식 도로 랭킹 (Plan-Aware Road Ranking):

   • 핵심 기술: 검색된 여러 도로 후보 중 에이전트 계획과 가장 잘 부합하는 도로를 선택하기 위한 알고리즘입니다.
   • 각 도로가 에이전트의 행동 (예: 좌회전 에이전트가 직진 도로가 있는지 확인) 과 환경 제약 조건을 얼마나 만족하는지 점수화합니다.
   • 점수가 가장 높은 도로를 선택하거나, 동점일 경우 무작위 선택하여 다양성을 확보합니다. 이는 미리 정의된 경로나 스폰 포인트 없이도 장면의 일관성을 보장합니다.

6. 장면 생성 (Scene Generation):

   • 선택된 도로와 에이전트 계획을 CARLA 시뮬레이터의 커스텀 렌더링 인터페이스를 통해 실행 가능한 교통 장면으로 변환합니다.

3. 주요 기여 (Key Contributions)

• 자연어 기반 자동 생성 프레임워크: 미리 정의된 경로나 스폰 포인트 없이 자유로운 자연어 설명만으로 교통 장면 생성이 가능하며, 순차적 이벤트 시뮬레이션도 지원합니다.
• 계획 인식 도로 랭킹 전략: 도로 조건과 에이전트 계획을 동시에 고려하여, 입력 프롬프트와 가장 잘 일치하고 효과적인 교통 시나리오를 지원하는 최적의 레이아웃을 자동으로 선택합니다.
• 안전 및 추론 능력 향상: 생성된 장면을 통해 훈련된 에이전트의 충돌률을 낮추고, 캡셔닝 모델이 에이전트의 행동을 설명하고 추론하는 능력을 크게 향상시킵니다.

4. 실험 결과 (Results)

• 안전성 평가 (SafeBench): 자율주행 안전 평가 벤치마크인 SafeBench 에서 직진 장애물, 차선 변경, 보호되지 않은 좌회전 등 3 가지 위험 시나리오를 테스트했습니다.
  • 제안된 방법 (TTSG) 은 평균 **충돌률 3.5%**를 기록하여 기존 방법들 (Learning-to-Collide, AdvSim, ChatScene 등) 보다 가장 낮은 충돌률을 보였습니다.
• 캡셔닝 및 추론 능력: TTSG 로 생성된 장면으로 학습된 캡셔닝 모델은 행동 추론 능력에서 CIDEr 점수가 30 점 이상 향상되었습니다. 특히 위험 상황에서의 행동 설명과 추론 정확도가 크게 개선되었습니다.
• 다양성 및 정확도: 다양한 LLM (GPT-4o, Claude, Gemma 등) 에서 일관된 성능을 보였으며, 도로 및 에이전트 계획의 정확도 (Road Accuracy, Agent Accuracy) 가 높게 나타났습니다.
• 토큰 효율성: CoT(Chain-of-Thought) 방식에 비해 토큰 사용량을 크게 줄이면서도 동등하거나 더 나은 계획 품질을 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 자연어와 LLM 을 활용하여 자율주행 시뮬레이션의 '상위 작업 (Upstream Task)'인 장면 레이아웃 및 에이전트 계획을 자동화하는 새로운 패러다임을 제시합니다.

• 유연성과 해석 가능성: 사용자가 복잡한 위험 상황이나 특정 조건을 자연어로 쉽게 정의할 수 있어, 안전 평가 및 모델 훈련에 필요한 다양한 시나리오를 유연하게 생성할 수 있습니다.
• 안전 중심 시뮬레이션: 실제 도로에서 수집하기 어려운 치명적인 사고 상황을 안전하게 재현하여 자율주행 시스템의 견고성을 높이는 데 기여합니다.
• 확장성: 향후 새로운 교통 객체 생성이나 다중 에이전트 행동 제어 등으로 시스템을 확장할 수 있는 기반을 마련했습니다.

결론적으로 TTSG 는 자연어 기반의 직관적인 인터페이스를 통해 안전하고 해석 가능하며 제어 가능한 자율주행 시뮬레이션 환경을 구축하는 데 있어 중요한 진전을 이룬 연구입니다.