기술 요약: 삼단계 추론 증류(TLRD)를 통한 표 형식 데이터에 대한 LLM의 추론 능력 학습

1. 문제 정의

표 형식 데이터(Tabular data)는 실세계 정보 저장의 주요 매체로서 신용 점수 산정, 의료, 공급망 최적화와 같은 핵심 산업 분야를 주도하고 있습니다. 전통적인 트리 기반 앙상블 모델(예: XGBoost, CatBoost)은 예측 성능과 효율성 덕분에 이러한 작업들을 지배하고 있지만, 이해관계자의 의사결정에 필수적인 읽기 가능한 사례별 설명을 제공하는 능력은 부족합니다. 반면, 대규모 언어 모델(LLM)은 자연스럽게 설명을 생성할 수 있지만, 사전 학습 과정에서 데이터셋 특유의 패턴, 피처 분포 및 상호작용을 포착하는 능력이 부족하여 표 형식 데이터 처리에 어려움을 겪습니다.

LLM을 레이블이 지정된 표 형식 데이터셋에 직접 미세 조정(Fine-tuning)하려고 할 때 중요한 기술적 장애물이 발생합니다. 범주형 레이블에 의해서만 지도 학습을 수행할 경우, 모델은 생성적 행동에 대한 **치명적 망각(Catastrophic forgetting)**을 겪으며 설명 붕괴(Explanation collapse) 현상이 나타날 수 있습니다. 이 상태에서 모델은 엄격하게 판별적 매핑(Discriminative mapping)만을 최적화하여, 매우 짧은 레이블 위주의 출력만을 생성하고 근거가 있는 자유 형식의 추론(Rationale)을 생성하는 데 실패하게 됩니다. 기존의 퓨샷(Few-shot) LLM 접근 방식은 강력한 베이스라인 모델들에 비해 성능이 떨어지는 경우가 많으며, 대규모 레이블 데이터셋이 존재하는 환경에서 설명의 품질을 최적화하는 문제를 충분히 해결하지 못합니다.

2. 방법론: 삼단계 추론 증류 (Tri-Level Rationale Distillation, TLRD)

TLRD는 레이블만 존재하는 표 형식 데이터셋을 구조화되고 추론이 풍부한 감독 데이터로 변환하기 위해 설계된 프레임워크입니다. 이 방식은 교사-학생 증류(Teacher-student distillation) 파이프라인을 채택하여, 소형 학생 모델이 추론 시점에 오직 원시 피처(Raw features)만을 사용하여 레이블을 예측하고 근거 있는 설명을 생성할 수 있도록 합니다.

2.1 삼단계 증강 입력 (Tri-Level Augmented Input)

LLM의 데이터셋 특유의 맥락 결여 문제를 해결하기 위해, 본 프레임워크는 코퍼스 구축 과정에서 교사 모델을 위한 삼단계 증강 입력을 구성합니다. 이 입력은 직렬화된 원시 행(Row)에 두 가지 추가적인 증거원을 확장하여 결합합니다:

1. 데이터셋 수준 통계(Dataset-Level Statistics): 수치형 및 범주형 피처에 대한 평균, 표준 편차, 사분위수 및 클래스 조건부 빈도를 포함한 전역적 분포 맥락.
2. 검색된 이웃(Retrieved Neighbors): 범주형 피처 일치 및 표준화된 벡터에 대한 코사인 유사도를 기반으로 검색된, 레이블 균형이 맞춰진 유사한 과거 인스턴스 집합.

2.2 삼단계 추론 스키마 (Tri-Level Rationale Schema)

고정된 스키마의 안내에 따라, 교사 모델은 정답 레이블(Ground-truth label)을 조건으로 하여 증강된 입력을 분석하고 구조화된 추론을 생성합니다. 이 스키마는 세 가지 상호 보완적인 추론 수준을 강제합니다:

• 인스턴스 수준 추론 (자체 피처 기반): 일반적인 도메인 논리와 상식을 사용하여 특정 피처 값이 타겟에 미치는 방향성 있는 영향을 분석합니다.
• 데이터셋 수준 추론 (전역 통계 기반): 피처 값을 전역 통계(예: 클래스 평균 또는 백분위수와 비교)와 대조하여 설명을 거시적 증거에 고정합니다.
• 비교 수준 추론 (유사 사례 기반): 검색된 이웃을 사용하여 피처 조합 패턴과 결정적인 편차를 추출하고, 이를 <Patterns> 및 <Deviations> 블록으로 요약하여 로컬 대조 증거에 대해 예측을 검증합니다.

2.3 증류 및 배포

교사 모델은 정답 레이블을 정당화하는 구조화된 추론 보고서를 생성합니다. 이후 소형 학생 모델은 이 증류된 코퍼스를 사용하여 (LoRA를 통해) 미세 조정됩니다. 결정적으로, 배포(Deployment) 단계에서 학생 모델은 오직 원시 직렬화 피처만을 수신합니다(외부 통계나 검색 기능 없음). 모델은 데이터셋 수준 및 사례 기반 지식을 내부화하도록 훈련되어, 외부 검색이나 통계적 조회 없이도 삼단계 추론을 생성할 수 있는 제로 오버헤드 추론 능력을 갖추게 됩니다.

3. 주요 기여

• 삼단계 증거 기반 추론 생성: 본 논문은 교사 모델이 인스턴스 수준 피처, 데이터셋 수준 통계, 비교 수준 이웃에 근거하여 추론을 합성하도록 유도하는 구조화된 스키마를 도입했습니다. 이는 원시 표 형식 데이터를 어떻게 증거가 풍부한 감독 데이터로 변환할 것인가를 공식화합니다.
• 맥락-파라미터 증류 (Context-to-Parameter Distillation): TLRD는 데이터셋 통계와 검색된 이웃이 코퍼스 구축 단계에서만 사용되는 증류 방법을 제안합니다. 이는 데이터셋 특유의 지식을 학생 모델의 파라미터 속으로 간접적으로 주입하여, 외부 검색이나 통계적 조회 없이도 효율적이고 독립적인 추론을 가능하게 합니다.
• 포괄적인 경험적 평가: 본 프레임워크는 여섯 가지 다양한 데이터셋(분류 및 회귀)을 통해 평가되었습니다. 실험 결과, TLRD는 강력한 비-LLM 베이스라인 모델들과의 성능 격차를 유의미하게 좁히는 동시에 근거 있고 읽기 쉬운 설명을 생성함을 입증했습니다.

4. 실험 결과

실험은 ADULT, HOME CREDIT, OKCUPID, DIABETES130US, CALIFORNIA, DIAMONDS 데이터셋을 대상으로 다양한 학생 백본(Llama 3.1-8B, Qwen3-8B, Gemma 3-12B)과 교사 모델(GPT-OSS-20B/120B, Qwen3-Next-80B)을 사용하여 진행되었습니다.

• 베이스라인 대비 성능: TLRD는 제로샷(Zero-shot) 및 퓨샷(Few-shot) LLM 베이스라인을 크게 상회합니다. 분류 작업에서 TLRD 변형 모델들은 XGBoost, CatBoost, TabPFN과 같은 강력한 비-LLM 베이스라인들과 경쟁할 만한 성능을 보여주었습니다. 예를 들어, OKCUPID 데이터셋에서 TLRD (Gemma 3-12B)는 Macro-F1 56.1을 달성하여 TabPFN v2.5 (55.9)를 넘어섰으며 CatBoost (58.9)에 근접했습니다.
• 추론의 근거성 (Rationale Grounding): 질적 분석(그림 3)에 따르면, 일반적인 증류 방식은 상식적 가정을 바탕으로 유창하지만 일반적인 설명을 생성하는 경향이 있습니다. 반면, TLRD는 특정 데이터셋 통계(예: "부도 발생률 77.8% 대 정상 발생률 70.4%")를 인용하고 유사 사례와의 편차를 식 पहचान하여, 더 높은 근거를 가진 의사결정 지원을 제공합니다.
• 절제 연구 (Ablation Studies): 데이터셋 통계 또는 비교 수준 검색 중 하나라도 제거하면 성능이 저하되었으며, 이는 삼단계 증거의 상호 보완적 성격을 확인시켜 줍니다. 또한, TLRD는 표준 증류 및 "증거 증강 증류(Evidence-Augmented Distillation, 교사가 증거를 보지만 구조화된 스키마는 없는 경우)"보다 우수한 성능을 보였으며, 이는 고품질의 감독 데이터를 생성하는 데 있어 스키마의 중요성을 강조합니다.
• 확장성: 본 프레임워크는 중간 규모의 교사 모델에 의해 감독받는 소형 학생 모델(예: 4B 파라미터)에서도 효과적이었으며, 이는 자원이 제한된 배포 환경을 위한 실질적인 경로를 제시합니다.

5. 의의 및 한계점

의의:
TLRD는 트리 기반 앙상블의 높은 예측 성능과 LLM의 해석 가능성 사이의 실질적인 절충안을 제공합니다. 데이터셋 특유의 추론 패턴을 학생 모델로 증류함으로써, 외부 검색의 지연 시간이나 레이블 전용 미세 조정 시 발생하는 설명 붕해 없이도 투명하고 사례별인 의사결정 지원을 가능하게 합니다. 저자들은 이를 정확성과 설명 가능성이 모두 요구되는 고위험 의사결정 분야의 가치 있는 참조 모델로 제시합니다.

한계점:
저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 가짜 상관관계 (Spurious Correlations): 교사 모델이 정답 레이블을 조건으로 하더라도, 학생 모델은 교사로부터 물려받은 가짜 상관관계나 논리적 비약을 계승할 수 있습니다.
• 확장성: 본 방식은 고차원 데이터셋을 위한 피처 선택에 의존하며, 입력 길이 제한으로 인해 많은 클래스를 가진 데이터셋에서 어려움을 겪을 수 있습니다.
• 미세 조정 범위: 계산상의 제약으로 인해 본 연구에서는 전체 파라미터 미세 조정 대신 LoRA(매개변수 효율적 미세 조정)를 사용하였으며, 이에 따라 전체 파라미터 적응이 더 큰 이득을 줄 수 있는지에 대한 의문이 남아 있습니다.
• 내재적 LLM 리스크: 본 방법론은 환각(Hallucination) 및 프롬프트 설정에 대한 민감도를 포함한 일반적인 LLM의 한계를 그대로 가집 hair. 저자들은 TLRD가 자율적인 의사결정자가 아닌 엄격한 의사결정 지원 도구로서 배치되어야 함을 강조하며, 실제 배포 시 엄격한 공정성 감사와 인간 평가를 권고합니다.