기술 요약: LLM 개발 및 평가를 위한 인과적 방법

문제 제기

현재 대규모 언어 모델 (LLM) 의 개발과 평가는 데이터 혼합물, 보상 모델, 라우팅 전략, 평가 파이프라인에 대한 대규모 경험적 반복에 크게 의존하고 있습니다. 그러나 이 과정은 근본적인 도전 과제에 직면해 있습니다. 많은 핵심 의사결정이 무작위 실험이 아닌 로그된 관찰 데이터에 기반하여 이루어진다는 점입니다. 이러한 데이터는 선택 편향, 분포 변화, 그리고 노이즈가 있거나 편향된 레이블(예: 인간 평가자나 학습된 심사자로부터의 것)의 영향을 받습니다.

결과적으로 순수 예측적 접근법은 종종 취약합니다. 관찰된 성능 차이는 실제 설계 결정의 인과적 효과가 아니라 교란 요인 (예: 더 큰 모델이 더 어려운 쿼리로 라우팅되어 더 나쁘게 보이는 경우) 을 반영할 수 있습니다. 이 논문은 LLM 개발 파이프라인이 본질적으로 인과적 문제임을 주장하지만, 인과적 방법론은 여전히 미활용되고 있다고 지적합니다. 핵심 문제는 역사적 무작위화되지 않은 로그만 존재할 때 데이터 혼합물, 라우팅 정책, 프롬프트 템플릿과 같은 개입의 반사실적 효과를 어떻게 신뢰성 있게 추론할 수 있는지에 있습니다.

방법론

이 논문은 인과 추론 원칙—특히 **식별 가능성 (identifiability)**과 추정 (estimation)—을 전체 LLM 라이프사이클에 적용하는 통합 프레임워크를 제안합니다.

1. 인과적 개입으로서의 형식화

저자들은 잠재 결과 프레임워크를 사용하여 LLM 개발 결정을 형식화합니다:

• 맥락 ($X$): 관찰된 변수 (예: 사용자 프롬프트, 사전 학습 코퍼스, 검색된 문서).
• 처치 ($A$): 시스템 선택 또는 개입 (예: 데이터 혼합물 가중치, 모델 라우팅 할당, 프롬프트 템플릿).
• 결과 ($Y$): 관심 지표 (예: 작업 성공, 선호도 점수, 지연 시간, 안전성).
• 목표: $E[Y(a)]$(처치 $A$를 $a$로 설정했을 때의 기대 결과) 또는 $E[Y(a) - Y(a')]$(처치 전환의 효과) 와 같은 인과적 양을 추정하는 것.

2. 핵심 원칙

• 식별 가능성: 명시적 구조적 가정 하에 관찰 데이터로부터 인과적 효과를 고유하게 복원할 수 있는지 결정하는 것. 논문은 LLM 에서 데이터는 거의 무작위화되지 않으며 정책 유도적임을 강조합니다. 도전 과제에는 선택적 관찰 (일부 프롬프트만 레이블링됨) 과 편향된 심사자가 포함됩니다. 이 프레임워크는 어떤 가정 (예: 관찰되지 않은 교란 요인의 부재) 이 타당한지 그렇지 않은지를 명확히 하며, 가정이 실패할 경우 민감도 분석과 부분 식별의 사용을 제안합니다.
• 추정: 식별 가능하더라도 효과는 고차원적이고 복잡한 데이터에서 추정되어야 합니다. 논문은 **편향 제거/이중 머신 러닝 (DML)**을 옹호합니다. DML 은 유연한 머신 러닝 모델을 사용하여 교란 요소 (예: 역사적 정책 또는 보상 모델) 를 예측하고 잔차에서 인과적 효과를 추정합니다. 이 접근법은 교란 요인으로 인한 편향을 제거하며, 교란 요소 모델이 잘못 지정되더라도 유효한 통계적 추론 (예: 신뢰 구간) 을 제공합니다.

3. 파이프라인 전반의 적용

이 방법론은 LLM 개발의 특정 단계에 매핑됩니다:

• 사전 학습: 도메인 혼합 비율을 연속적 처치로 간주하여 전체 재학습 없이 하류 성능을 예측합니다.
• 정렬 및 선호도 학습: 단일 잠재 점수를 가정하는 Bradley-Terry (BT) 모델의 한계를 해결합니다. 논문은 주석 데이터의 순환적 선호도와 관찰되지 않은 교란 요인을 처리하기 위해 DML 과 준모수적 확장을 사용할 것을 제안합니다.
• 배포 (라우팅 및 에이전트): 쿼리가 무작위로 모델에 할당되지 않는 라우팅 시스템에 오프-정책 평가를 적용합니다. 에이전트 워크플로우 (연속적 의사결정) 의 경우, 이 프레임워크는 검색, 도구 사용과 같은 중간 단계에 걸친 동적 교란과 신용 할당을 다룹니다.
• 평가: "LLM-as-a-judge"시스템의 편향을 수정하고 주석 비용의 분산을 최소화하는 최적의 데이터 수집 전략 (적극적 학습) 을 설계하기 위해 인과적 방법을 사용합니다.
• 안전성 감사: 잠재적 보상 함수의 발견을 부분 식별 문제로 프레임화하여, 여러 보상 함수가 동일한 행동을 생성할 수 있음을 인정하고 점 추정치 대신 타당한 목표에 대한 경계를 추구합니다.

주요 기여

이 논문은 세 가지 주요 기여를 합니다:

1. 개념적 프레임워크: LLM 개발에 인과적 방법이 왜 그리고 언제 필요한지 설명하며, 일반적인 엔지니어링 결정을 인과적 개입으로 식별하고 교란 및 분포 변화로 인한 비인과적 접근법의 취약성을 강조합니다.
2. 파이프라인 매핑: 사전 학습, 정렬, 라우팅, 에이전트 워크플로우, 평가를 포함한 전체 LLM 라이프사이클 전반에 걸친 인과적 방법의 기회에 대한 포괄적인 지도를 제공합니다. 각 도메인에서 DML 을 선호도 학습에 사용하고 라우팅에 오프-정책 평가를 사용하는 것과 같은 구체적인 연구 기회 (RO) 를 식별합니다.
3. 연구 의제: 특히 연속적 의사결정을 통해 행동이 전개되는 에이전트 시스템과 세계 모델에 중점을 둔 미래 연구에 대한 "블루 스카이"비전을 제시합니다. 구조화된 매개변수, 동적 교란, 잠재 보상 함수의 식별을 처리할 수 있는 방법의 필요성을 강조합니다.

결과 및 주장

이 논문은 입장 및 비전 논문으로서 새로운 실험 결과나 특정 알고리즘 벤치마크를 제시하지 않습니다. 대신 그 "결과"는 간극의 식별과 방법론적 전환의 제안입니다:

• 현재 상태: LLM 개발은 휴리스틱과 관찰 데이터에 의존하여 잠재적인 허위 상관관계와 편향된 평가 (예: 라우팅 편향으로 인해 더 큰 모델이 더 나쁘게 보이는 경우) 로 이어집니다.
• 제안된 상태: 인과 추론을 채택함으로써 개발자들은 상관관계 기반 휴리스틱에서 원칙적인 식별과 추정으로 이동할 수 있습니다.
• 구체적 주장:
  • 인과적 방법은 데이터 수집의 인공물로부터 결정의 효과를 분리함으로써 신뢰할 수 있고 과학적으로 근거 있는 설계를 보장할 수 있습니다.
  • DML 과 같은 기술은 고차원 환경에서 데이터 효율성, 오지정 (misspecification) 에 대한 강건성, 그리고 통계적 추론 (예: 신뢰 구간) 의 유효성을 향상시킬 수 있습니다.
  • 단순히 훈련 목표에 "인과적 방법"을 추가하는 것이 LLM 에 인과적 추론 능력을 자동으로 부여하는 것은 아닙니다. 오히려 인과적 방법은 개발 및 평가 프로세스 자체를 개선하기 위한 입력으로 사용되어야 합니다.

중요성

이 논문은 인과적 방법이 LLM 개발 파이프라인에서 잠재적으로 미활용되고 있다고 주장합니다. 그 중요성은 다음과 같습니다:

• 신뢰성: 교란 요인으로부터 실제 인과적 효과를 구분할 수 있는 프레임워크를 제공함으로써 허위 상관관계에 기반한 모델 배포 위험을 줄입니다.
• 과학적 엄밀성: 종종 경험적 반복에 의해 주도되는 분야에 형식적 가정 (식별 가능성) 과 통계적 보장 (유효한 신뢰 구간) 을 도입합니다.
• 미래 대비: 모델, 사용자, 작업이 시간에 따라 공동 적응하는 LLM 환경의 비정상적 특성을 처리할 수 있는 도구를 제공합니다.
• 안전성: 단일 식별된 목표를 가정하는 대신 타당한 보상 함수 집합을 특성화함으로써 더 강력한 안전성 감사를 가능하게 합니다.

저자들은 인과 추론과 LLM 개발을 연결하는 것이 신뢰할 수 있고, 데이터 효율적이며, 배포를 인지하는 AI 시스템을 구축하기 위한 유망한 기초라고 결론지었습니다.