기존 방식 (수동 로그): 자율주행차가 달리는 동안 카메라, 라이다 (거리 측정 센서), 엔진 소리 등 모든 센서 데이터를 24 시간 내내 켜두고 기록합니다.
비유: 마치 집 안의 모든 방에 보안 카메라를 24 시간 내내 켜두고, 비가 오든, 개가 지나가든, 사람이 오든 모든 영상을 하드디스크에 저장하는 것과 같습니다.
문제점: 저장 공간이 금방 차고, 나중에 "어? 저기 비가 오면서 보행자가 넘어진 장면 없었나?"라고 찾을 때, 수백 테라바이트의 쓸모없는 영상 속에서 그 한 장면을 찾아야 합니다. 비용도 많이 들고, 중요한 순간을 놓칠 수도 있습니다.
이 논문이 제안하는 방식 (DSL + LLM): 사용자가 "비가 오는 날, 보행자가 넘어지는 순간만 찍어줘"라고 말하면, 시스템이 그 말만 듣고 그 조건에 딱 맞는 순간만 카메라를 작동시켜 데이터를 저장합니다.
비유: 이제 현명한 경비원이 생겼습니다. 그는 모든 영상을 저장하지 않고, "비 + 보행자 + 넘어짐"이라는 조건을 기억했다가, 그 상황이 딱 발생했을 때만 "자, 이 순간은 중요하니까 찍어!"라고 외치며 데이터를 저장합니다.
2. 핵심 기술: "자연어"를 "전문가용 언어"로 번역하는 비서
사용자가 "비 오는 날 보행자 찍어줘"라고 말한다고 해서, 컴퓨터가 바로 그걸 실행할 수는 없습니다. 컴퓨터는 복잡한 코드나 센서 신호를 이해해야 하기 때문입니다.
이 논문은 두 가지 핵심 도구를 사용합니다.
LLM (거대 언어 모델) - "통역사":
사용자가 말한 자연어 ("비 오는 날 보행자") 를 컴퓨터가 이해할 수 있는 전문적인 명령어로 바꿔줍니다.
하지만 여기서 문제가 생깁니다. 통역사가 너무 자유롭게 번역하면 ("비 오는 날 보행자"를 "비 오는 날 보행자 + 고양이 + 우산"으로 잘못 번역하거나, 코드가 너무 복잡해져서 차가 멈출 수도 있습니다).
DSL (도메인 특화 언어) - "규칙이 있는 공식 양식":
이 논문은 통역사 (LLM) 가 무작정 번역하게 두지 않고, **정해진 양식 (DSL)**을 사용하게 합니다.
비유: 마치 공식 서류 작성과 같습니다. 통역사는 "이 서류 양식 (DSL) 에 맞춰서만 번역해"라고 지시받습니다.
효과:
안전성: 컴퓨터가 실행할 수 없는 엉뚱한 명령이 나올 수 없습니다.
일관성: 같은 명령을 두 번 내리면, 항상 똑같은 양식으로 변환됩니다. (예전에는 통역사가 사람마다 다르게 번역해서 혼란이 있었지만, 이제는 양식이 정해져 있어 항상 똑같습니다.)
빠른 속도: 복잡한 코드를 직접 짤 필요 없이, 정해진 양식만 채우면 되므로 컴퓨터가 훨씬 빠르게 실행합니다.
3. 결과: 왜 이 방식이 더 좋은가요?
논문에서 실제 자율주행차와 로봇으로 실험한 결과는 다음과 같습니다.
정확도: "비 오는 날 보행자"를 찾는 능력은 기존 방식과 비슷하게 잘합니다. (중요한 건 놓치지 않음)
일관성: 같은 명령을 여러 번 내렸을 때, 결과가 매우 일정하게 나옵니다. (기존 방식은 매번 조금씩 달라져서 혼란이 있었음)
속도: 데이터가 필요한 순간을 판단하고 실행하는 속도가 훨씬 빠릅니다. (불필요한 계산이 줄어들었기 때문)
유연성: 새로운 조건이 생기면 (예: "눈 오는 날 보행자"), 전문가가 복잡한 코드를 다시 짤 필요 없이, 그냥 "눈 오는 날 보행자"라고 말하면 시스템이 자동으로 새로운 규칙을 만들어냅니다.
요약
이 논문은 **"사람이 말로 원하는 대로, 컴퓨터가 안전하고 빠르게, 중요한 데이터만 골라내는 시스템"**을 만들었습니다.
과거: 모든 데이터를 찍어서 나중에 정렬하는 비효율적인 창고 관리.
현재 제안: "이것만 필요해"라고 말하면, 규칙에 맞춰서 딱 필요한 것만 골라주는 스마트한 비서.
이 기술은 자율주행차, 로봇, 그리고 앞으로의 모든 AI 시스템이 더 똑똑하고, 저렴하게, 그리고 빠르게 데이터를 학습할 수 있도록 도와줄 것입니다.
1. 문제 정의 (Problem Definition)
수동적이고 무분별한 데이터 수집: 자율주행 차량이나 로봇과 같은 데이터 기반 시스템은 방대한 양의 다중 모달 (카메라, 라이다, 시스템 텔레메트리 등) 센서 데이터를 생성합니다. 현재 대부분의 데이터 수집 파이프라인은 모든 데이터를 지속적으로 로깅하는 수동적인 방식을 따릅니다.
비효율성 및 비용: 모든 데이터를 저장하고 전송하는 것은 경제적, 운영적으로 불가능하며, 저장 비용이 급증하고 불필요한 데이터가 대량으로 축적됩니다.
기존 접근법의 한계:
전문가 의존성: 기존 선택적 수집 전략은 저수준의 전문가가 직접 코딩한 규칙 (Heuristics) 에 의존하여 유지보수와 재사용이 어렵습니다.
비효율적인 병렬 실행: 여러 트리거가 독립적으로 구현되어 병렬 실행 시 비효율적이거나 상호작용이 정의되지 않아 이벤트 누락 또는 중복 수집이 발생합니다.
맥락 부재: '관련성 (Relevance)'이 사용자 및 작업 목적에 따라 달라짐에도 불구하고, 기존 시스템은 이를 일반화된 이상치 (Anomaly) 신호로만 간주하여 유연성이 부족합니다.
핵심 과제: 이해관계자 (검증 엔지니어 등) 가 자연어로 고수준의 데이터 수집 요구사항을 표현할 수 있게 하고, 이를 실시간으로 실행 가능한 효율적인 트리거 로직으로 변환하여 엣지 장치에서 구동하는 체계가 필요합니다.
2. 제안 방법론 (Methodology)
이 논문은 의도 기반 (Intent-driven) 데이터 수집을 위한 선언적 프레임워크를 제안합니다. 핵심은 자연어 (NL) 와 도메인 특화 언어 (DSL) 의 결합 및 대형 언어 모델 (LLM) 의 활용입니다.
가. 도메인 특화 언어 (DSL) 정의
형식적 문법: 트리거 생성을 위한 EBNF(Extended Backus-Naur Form) 기반의 DSL 을 정의했습니다.
구조:
Scene (S) & Vehicle State (V): 장면 요소와 차량 상태 (신호, 제어값) 를 정의.
Predicate (P): 특정 조건을 평가하는 불리언 함수 (예: PREDICATE(detect, class="person")).
Trigger (T): 여러 Predicates 를 논리 연산자 (AND, NOT 등) 로 조합한 최종 트리거.
특징: 모듈러한 구성, 형식적 검증 가능성, 실시간 실행 효율성을 보장합니다.
나. LLM 기반 변환 프레임워크
자연어 → DSL 변환: 사용자가 입력한 자연어 데이터 요구사항 (예: "눈 오는 날의 보행자 데이터 수집") 을 LLM 이 분석합니다.
RAG (Retrieval-Augmented Generation): 차량 신호 설명, 제어 로직, 센서 매핑 등 시스템 지식 (K-matrices, 코드베이스 등) 을 검색하여 LLM 에 제공함으로써 정확한 DSL 코드를 생성하도록 지원합니다.
중간 표현: LLM 은 EBNF 문법에 따라 유효한 DSL 코드를 생성하고, 이를 실행 엔진이 처리할 수 있는 구조화된 JSON 형태로 변환합니다.
다. 차량 내 트리거 아키텍처 (In-Vehicle Trigger Architecture)
ROS(Robot Operating System) 환경에서 다음과 같은 3 단계로 구성됩니다.
Data Manager: 센서 데이터를 필터링, 전처리하여 'Data Cache'에 저장합니다.
Trigger Engine: LLM 이 생성한 JSON 설정에 따라 각 트리거 인스턴스가 실시간으로 조건을 평가합니다. (새로운 데이터 유입 시 또는 주기적으로 실행)
Trigger Manager: 모든 트리거 엔진을 관리하고, 평가 스케줄을 조정하며, 조건이 충족되면 데이터 로깅을 활성화합니다.
3. 주요 기여 (Key Contributions)
다중 모달 데이터용 DSL 개발: 조건부 논리와 조합을 지원하는 DSL 을 제안하여, 형식적 검증이 가능하고 엣지 장치에서 효율적으로 실행될 수 있는 트리거를 정의합니다.
LLM 기반 자동화 프레임워크: 자연어 요청을 감사 가능하고 재사용 가능한 캡처 프로그램 (DSL/JSON) 으로 변환하는 시스템을 구축하여, 전문 시스템 코딩 지식이 없는 이해관계자도 데이터 수집 정책을 정의할 수 있게 합니다.
실증적 평가: 차량 및 로봇 플랫폼에서 DSL 기반 접근법이 제약 없는 코드 생성 (Unconstrained Code Generation) 대비 높은 생성 일관성과 낮은 실행 지연 시간을 달성하면서도 동등한 탐지 성능을 유지함을 입증했습니다.
4. 실험 결과 (Results)
BDD100k 데이터셋의 35 개 이미지와 다양한 데이터 쿼리 (단일, 조건부, 추론) 를 사용하여 평가했습니다.
탐지 성능 (Detection Capability):
DSL 기반, 일반 코드 생성, 비전 - 언어 모델 (VLM) 기반 접근법 간의 F1 점수는 유사했습니다 (약 0.66~0.67).
DSL 은 VLM 보다 재현율 (Recall) 이 약간 낮았으나, 전체적인 탐지 능력은 유지되었습니다.
생성 일관성 (Generation Consistency):
가장 두드러진 성과: DSL 기반 접근법이 Levenshtein 거리, 코사인 유사도 등 모든 지표에서 압도적으로 높은 일관성을 보였습니다.
반면, 일반 코드 생성은 문법적/구문적 차이가 커서 일관성이 낮았습니다 (예: Levenshtein 유사도 DSL 0.966 vs Code 0.392). 이는 LLM 이 DSL 의 구조적 제약을 따를 때 더 안정적인 출력을 생성함을 의미합니다.
실행 성능 (Runtime Performance):
DSL 기반 프레임워크가 가장 낮은 실행 시간을 기록했습니다.
일반 코드 생성은 불필요한 검사 (Redundant checks) 로 인해 비효율적이었으며, VLM 은 추론 비용이 높아 실행 시간이 가장 길었습니다.
이는 제한된 자원을 가진 엣지 환경에서 DSL 이 병렬 실행에 훨씬 적합함을 보여줍니다.
5. 의의 및 결론 (Significance & Conclusion)
패러다임 전환: 수동적인 로깅에서 검증 가능하고 의도 기반 (Intent-driven) 인 능동적 데이터 수집으로의 전환을 가능하게 합니다.
확장성과 모듈성: DSL 의 구조적 특성으로 인해 새로운 트리거를 추가하거나 수정할 때 전체 파이프라인을 재설계할 필요가 없으며, 시스템의 확장성과 유지보수성이 크게 향상됩니다.
실용성: 복잡한 자연어 요구사항을 실시간 시스템이 처리할 수 있는 최적화된 코드로 자동 변환함으로써, 자율주행 및 로봇 분야의 데이터 중심 개발 (Data-centric AI) 의 병목 현상을 해결합니다.
한계 및 향후 과제: 현재 탐지 성능은 하위 모델 (YOLO, CLIP 등) 의 성능에 종속적입니다. 향후 DSL 의 구조적 안정성과 일반 코드의 유연성을 결합하여 더 적응적인 추론 메커니즘을 연구할 필요가 있습니다.
이 논문은 LLM 의 생성 능력을 도메인 특화 언어의 구조적 엄격함과 결합함으로써, 실시간 엣지 시스템에서의 효율적이고 신뢰할 수 있는 데이터 수집 프레임워크를 제시했다는 점에서 중요한 의의를 가집니다.