기술 요약: TextReg

문제: 프롬프트 분포 과적합

대형 언어 모델 (LLM) 은 작업 목표와 제약을 지정하는 주요 인터페이스인 입력 프롬프트에 매우 민감합니다. 최근 프롬프트 최적화 방법들은 성능을 향상시키기 위해 LLM 에서 생성된 피드백을 사용하여 프롬프트를 반복적으로 재작성하지만, 종종 프롬프트 분포 과적합으로 고통받습니다. 최적화가 진행됨에 따라 프롬프트는 길어지는 경향이 있으며, 간결하고 일반적인 원칙을 인코딩하기보다는 특정 엔티티나 엣지 케이스에 대한 예외와 같이 좁고 샘플 특정적인 규칙들을 축적합니다.

이러한 실패 양상은 두 가지 결합된 차원을 따라 나타납니다:

1. 용량 비용 (Capacity Cost): 프롬프트 길이가 확장되어 더 많은 컨텍스트 예산을 소모하며, 제한된 컨텍스트 윈도우 내에서 관련 지시사항을 모델이 찾기 어렵게 만듭니다.
2. 범위 협소성 (Scope Narrowness): 프롬프트는 훈련 손실을 줄이지만 입력의 좁은 부분집합에만 적용되는 규칙들을 축적하여, 재사용 가능한 작업 원칙이 아닌 임시 변통식 패치로 기능합니다.

기존 최적화기들은 두 차원 중 어느 것도 제어할 수 있는 메커니즘이 부족하여, 훈련 데이터에서는 잘 작동하지만 분포 외 (OOD) 입력, 더 어려운 작업 변형, 또는 다른 모델 아키텍처에는 잘 일반화되지 않는 프롬프트를 초래합니다.

방법론: TextReg

저자들은 **표현 비효율성 (representational inefficiency)**을 제어함으로써 프롬프트 분포 과적합을 완화하도록 설계된 정규화 프레임워크인 TextReg를 제안합니다. 이 프레임워크는 비효율성을 이중 요소 측정치로 형식화합니다:
$$I(p) = C(p) \cdot W(p)$$
여기서 $C(p)$는 용량 비용(토큰 길이) 이고 $W(p)$는 범위 협소성(일반화 범위가 제한된 규칙의 비율) 입니다. TextReg 는 정규화된 목적 함수 $\min LD_{train}(p) + \lambda I(p)$를 최소화하는 것을 목표로 합니다.

프롬프트 최적화는 미분 불가능한 이산 텍스트 공간에서 발생하므로, TextReg 는 "텍스트 그라디언트"를 생성하고 적용하는 세 가지 보완적 단계를 통해 이 목적을 실현합니다:

1. 이중 증거 그라디언트 정제

이 단계는 최적화 신호의 원천에서 작동하여 프롬프트에 영향을 미치기 전에 원시 작업 그라디언트를 필터링합니다. 이는 광범위하게 적용 가능한 규칙과 좁고 샘플 특정적인 패치 사이를 두 가지 증거 소스를 사용하여 구분합니다:

• 로컬 사례 증거 (Local Case Evidence): 제안된 그라디언트 규칙이 현재 미니배치의 고유한 특징 (예: 특정 엔티티나 희귀한 엣지 조건) 으로 직접 추적되는지 분석합니다.
• 글로벌 반복 증거 (RuleBank): 일반화된 규칙의 승인을 기억합니다. 그라디언트는 최적화 단계 전반에 걸쳐 충분한 반복 지지를 받을 때만 유지되며, 이는 일회성 수정이 아닌 일반적인 작업 구조를 포착했음을 나타냅니다.
• 조치: 그라디언트는 일반화된 규칙(유지되고 간결하게 재작성됨), 사례 패치(거부됨), 또는 스타일 전용(거부됨) 으로 분류됩니다.

2. 의미 편집 정규화 (SER)

이 단계는 이미 프롬프트에 축적되었거나 재작성 과정에서 도입된 비효율성을 진단합니다. 이전 프롬프트 ($p_{t-1}$) 와 현재 프롬프트 ($p_t$) 사이의 표현 비효율성 변화 ($\Delta \log I(p)$) 를 유한 차분 접근법을 사용하여 추정합니다:

• 용량 채널: 상대 토큰 길이 증가가 임계값을 초과하면 트리거됩니다.
• 범위 채널: 규칙 구성이 좁아졌는지 (사례 특정적 패치 추가) 아니면 넓어졌는지 결정하기 위해 의미 차분 분석기를 사용합니다.
• 조치: 열화가 감지되면, SER 는 프롬프트를 압축하거나, 중복 규칙을 병합하거나, 좁은 규칙을 더 넓은 원칙으로 대체하도록 지시하는 텍스트 정규화 그라디언트($g_{reg}$) 를 생성합니다.

3. 정규화 유도 프롬프트 업데이트

최종 단계는 프롬프트 재작성을 수행합니다. 이는 정제된 작업 그라디언트 $\tilde{g}_{task}$를 구현하는 작업 충실한 편집 집합에서 정규화 그라디언트 ($g_{reg}$) 와 가장 호환되는 새로운 프롬프트 후보 ($p_{t+1}$) 를 선택합니다.

• 업데이트는 작업 개선을 우선시하지만, 용량 비용이나 범위 협소성의 증가를 최소화하는 편집을 선택하도록 유도합니다.
• 두 신호를 모두 만족하는 후보가 없는 경우, 시스템은 작업 충실한 업데이트로 되돌아가며, 정규화가 최적화를 중단시키는 하드 제약이 아닌 소프트 페널티로 작용하도록 보장합니다.

주요 기여

1. 표현 비효율성 형식화: 이 논문은 프롬프트 분포 과적합을 이산 텍스트 공간 최적화에서의 표현 효율성 실패로 정의하며, 프롬프트 길이와 규칙 특정성 간의 상호작용을 포착하는 이중 요소 측정치 ($I(p)$) 를 도입합니다.
2. 정규화된 텍스트 공간 최적화: TextReg 는 미분 가능한 파라미터 없이 텍스트 공간에서 소프트 페널티 목적을 실현하기 위한 프레임워크를 도입하며, 이중 증거 그라디언트 정제, 의미 편집 정규화, 정규화 유도 프롬프트 업데이트를 활용합니다.
3. 향상된 OOD 일반화: 광범위한 실험은 표현 비효율성 제어가 과적합을 크게 완화하여 데이터셋과 모델 아키텍처 전반에 걸쳐 견고한 성능을 이끌어낸다는 것을 보여줍니다.

실험 결과

저자들은 네 가지 다른 LLM 백엔드 (Qwen2, Phi-3.5, Llama-3, Llama-3.1) 를 사용하여 여섯 가지 추론 벤치마크 (Logical Deduction, Tracking Shuffled Objects, GSM8K, SVAMP, MultiArith) 에서 TextReg 를 평가했습니다. 프롬프트는 "3-객체" 또는 소스 작업에서 최적화되었고, 더 어려운 "5/7-객체" 변형과 다른 산술 데이터셋에서 테스트되었습니다.

• 성능: TextReg 는 OOD 일반화에서 베이스라인 (Zero-shot CoT, TextGrad, REVOLVE) 보다 일관되게 우수한 성과를 거두었습니다.
  • 특정 벤치마크에서 TextGrad 대비 최대 +11.8%, REVOLVE 대비 **+16.5%**의 정확도 향상을 달성했습니다.
  • 특히 베이스라인 방법들은 종종 과적합을 나타내며 OOD 정확도를 최적화되지 않은 CoT 베이스라인 이하로 저하시켰으나, TextReg 는 CoT 의 일반화 이점을 유지하고 확장했습니다.
• Ablation: 세 가지 핵심 구성 요소 중 하나를 제거하면 일관되게 성능이 저하되어, 이들의 공동 필요성이 확인되었습니다.
• 탄력성: TextReg 는 그라디언트 정제, 정규화 분석, 프롬프트 재작성과 같은 특정 역할을 수행하는 LLM 이 더 약한 모델로 다운그레이드되더라도 강력한 성능을 유지했으며, 이는 정규화 신호가 능력에 의존하기보다는 구조적임을 시사합니다.

중요성과 주장

이 논문은 프롬프트 분포 과적합이 단순히 최적화 역학의 산물이 아니라 근본적으로 표현 효율성의 실패라고 주장합니다. 프롬프트 최적화를 정규화의 관점, 특히 용량 비용과 범위 협소성의 성장을 제어하는 관점에서 접근함으로써 TextReg 는 훈련 분포를 넘어 일반화되는 프롬프트를 생성하는 원칙적인 메커니즘을 제공합니다.

저자들은 이 작업을 프롬프트 행동을 더 예측 가능하고 감사하기 쉽게 만드는 방법론적 진전으로 위치시킵니다. 그들은 현재 한계를 명시적으로 지적합니다: 이 프레임워크는 잘 정의된 행동 규칙을 가진 단일 턴 추론을 대상으로 하며, 열린 생성, 멀티 턴 프롬프트, 규칙 구조가 모호해지는 에이전트 지시사항은 향후 연구 과제로 남깁니다.