기술 요약: 제한된 의미론을 가진 표 형식 데이터에서의 LLM 활용

문제 정의

본 연구는 자동차 개발 과정 내의 산업적 계획 과제를 다룹ุ니다: 신규 등록된 프로토타입 차량의 리트로핏(retrofit, 개조/보수) 요구 사항을 예측하는 것입니다. 계획 담당자들은 각 차량에 대해 다음 세 가지 구체적인 질문에 답해야 합니다:

1. 발생 여부(Occurrence): 해당 차량이 리트로핏 방문을 필요로 하는가? (이진 분류)
2. 유형(Type): 방문이 발생할 경우, 어떤 특정 리트로핏 패키지가 필요한가? (15개 클래스 다중 클래스 분류)
3. 기간(Duration): 리트로핏 프로세스가 얼마나 오래 걸릴 것인가? (회귀)

핵심적인 기술적 과제는 데이터의 성격에 있습니다. 이 데이터셋은 프로토타입 등록 시스템(284,271대 차량)과 리트로핏 관리 시스템(48,716건의 정제된 방문 기록)을 연결합니다. 결정적으로, 범주형 메타데이터(예: 파생형, 통합 단계, 엔진 유형)는 해싱(hashed) 처리되어 있어, 데이터에 고유한 어휘적 의미론(lexical semantics)이 결여되어 있습니다. 행(row)이 LLM 처리를 위해 텍스트로 직렬화될 때, 입력값은 구조적 패턴은 드러내지만 의미적 내용은 거의 제공하지 않습니다. 이러한 설정은 LLM이 분포적 패턴만으로 무엇을 학습할 수 있는지, 그리고 무엇을 위해 의미론적 이해가 필요한지를 구분하기 위한 통제된 환경 역할을 합니다.

방법론

저자들은 세 가지 예측 단계에 걸쳐 강력한 고전적 표 데이터 베이스라인 및 AutoML 참조 모델과 대비하여 세 가지 차별화된 LLM 기반 전략을 평가합니다.

고전적 베이스라인

본 연구는 표준 피처 엔지니어링(타겟 인코딩, 빈도 인코딩, 상호작용 항)을 채택하고 로지스틱 회귀, 랜덤 포레스트, 엑스트라 트리즈(Extra Trees), 그래디언트 부스팅, XGBoost, LightGBM, CatBoost를 포함한 일련의 고전적 모델을 훈련시킵니다. 또한 스태킹(Stacking) 및 가중 소프트 보팅(weighted soft-voting) 앙상블도 활용됩니다. 다중 클래스 작업의 경우, 클래스 불균형을 처리하기 위해 SMOTE를 사용합니다.

LLM 기반 전략

직렬화된 행 입력을 대상으로 세 가지 특정 접근 방식을 테스트합니다:

1. LLM-EMBED: 구조화된 행을 키-값(key-value) 텍스트 문자열로 직렬화한 후 Amazon Titan Embed v2(1,024 차원)를 사용하여 임베딩합니다. 그 후 이 벡터들을 사용하여 로지스틱 회귀 분류기를 훈련시킵니다. API 비용 문제로 인해 이는 5,000개의 훈련 행으로 서브샘플링되었습니다.
2. LLM-PROMPTED: Claude Sonnet 4를 이용한 직접 분류 방식입니다. 모델은 퓨샷(few-shot) 예시가 포함된 직렬화된 행을 전달받으며, 파인튜닝 없이 직접 레이블을 예측합니다. 지연 시간과 비용 문제로 인해, 이는 별도로 분리된 작은 하위 집합(200~500행)에서 평가됩니다.
3. LLM-STACKED: 최적의 고전적 모델의 확률 출력값과 LLM 전략에서 도출된 출력을 결합하는 하이브리드 메타 학습자(meta-learner) 방식입니다. 이는 LLM이 엔드 투 엔드 예측기보다는 피처 제공자 또는 보완적 구성 요소로서 더 잘 작동하는지를 테스트합니다.

시계열 벤치마크

방문별 예측 외에도, 저자들은 평균 리트로핏 기간에 대한 월간 집계 시계열 벤치마크(76개 지점)를 구축합니다. 이는 저데이터(low-data), 제로샷(zero-shot) 환경에서 고전적 통계적 예측 및 래그(lag) 기반 머신러닝을 시계열 파운데이션 모델(Chronos, TIME-LLM)과 비교하는 데 사용됩니다.

주요 결과

1단계: 이진 발생 여부 예측

• 고전적 모델의 우위: 하이퍼파라미터 튜닝을 거친 CatBoost가 가장 강력한 단독 성능(ROC-AUC = 0.997, F1 = 0.884)을 달성했습니다.
• LLM 임베딩: 임베딩 기반 피처는 유용한 상태를 유지하며 AUC 0.982를 달성했으나, 최적의 트리 앙상블 모델에는 미치지 못했습니다.
• 프롬프팅의 실패: 해싱에 의해 의미적 신호가 제거되자, 직접 프롬프팅은 무작위 성능(AUC = 0.500)으로 무너졌습니다.
• 하이브리드의 성공: LLM-STACKED 방식은 평가 대상 집합에서 가장 높은 F1 점수(0.900)를 기록했으며, 이는 LLM이 강력한 고전적 모델과 결합될 때 보완적인 신호를 제공함을 시사합니다.

2단계: 15종 리트로핏 유형 분류

• 하이브리드의 우월성: LLM-STACKED 모델은 수동으로 구성된 파이프라인 중 가장 높은 가중치 F1(0.626)을 달s달성하여, 랜덤 포레스트(0.621)와 XGBoost(0.614)를 능가했습니다.
• AutoML: AutoGluon이 전체적으로 가장 우수한 성능(가중치 F1 0.654)을 보였습니다.
• 프롬프팅의 실패: 1단계와 마찬가지로, 해싱된 데이터에 대한 직접 프롬프팅은 저조한 성능을 보였습니다.

3단계: 기간 회귀 및 시계열

• 회귀: 방문당 기간 예측에는 고전적 모델이 여전히 표준으로 사용되었습니다.
• 시계열: 월간 집계 벤치마크에서는 래그 기반 머신러닝이 시계열 파운데이션 모델보다 우수한 성능을 보였습니다. 그러나 Chronos-small은 작은 데이터셋 크기에도 불구하고 제로샷 예측에서 경쟁력을 유지했습니다.

의의 및 주장

본 논문은 다음과 같이 결론짓습니다: 보안이 엄격한 산업용 테이블에서 범주형 값이 해싱되어 의미적 내용이 최소화된 경우:

1. LLM은 대체제가 아니다: 강력한 고전적 표 데이터 베이스라인(특히 트리 앙상블)은 여전히 구조화된 데이터 예측에 가장 효과적인 단독 모델로 남습니다.
2. 직접 프롬프팅은 비효효과적이다: 풍부한 의미적 내용이 없으면, 직접적인 LLM 프롬프팅은 분포적 패턴을 학습하는 데 실패하여 무작위 확률 수준으로 수렴합니다.
3. 하이브리드화가 가치 있다: LLM은 효과적인 보완적 구성 요소 역할을 합니다. 임베딩 피처는 유용한 신호를 유지하며, 하이브리드 스태킹 전략은 고전적 ML과 LLM 유래 표현의 강점을 결합함으로써 수동으로 구축된 최적의 모델을 만들어낼 수 있습니다.
4. 배포에 대한 시사점: 결과는 데이터 의미론이 제한적인 기업 환경에서, LLM을 엔드 투 엔드 예측기보다는 피처 강화 도구 또는 스태킹 아키텍처 내의 구성 요소로 배치해야 함을 시사합니다.

본 연구는 해싱된 데이터에 대한 직접 프롬프팅의 명확한 실패 사례를 제시하는 동시에, 임베딩 기반 접근 방식과 하이브리드 방식의 유용성을 검증합니다.