상상해 보세요. 거대 언어 모델 (LLM) 은 세계적인 요리사입니다. 이 요리사는 수많은 책과 글을 읽어서 언어를 아주 잘 다룹니다. 하지만 이 요리사에게 "이 음식의 맛을 1 점부터 10 점까지 숫자로 평가해 주세요"라고 요청하면, 조금 엉뚱한 일이 일어납니다.
기존 방법 1: "입으로 말하게 하기" (Autoregressive Decoding)
요리사에게 "숫자로 말해"라고 하면, 요리사는 숫자를 단어로 생각해서 "일", "이", "삼"이라고 말하려고 합니다.
문제는 숫자 '1.0'과 '0.9'는 숫자로서는 아주 가깝지만, 요리사의 입에서는 '일'과 '구'라는 완전히 다른 단어라는 점입니다. 요리사는 단어의 차이를 숫자의 차보다 더 중요하게 여겨서, 1.0 을 0.1 로 잘못 말해버릴 수도 있습니다.
기존 방법 2: "여러 번 물어보고 평균내기" (Regression-aware Inference)
"한 번만 말하지 말고, 100 번 말해봐. 그중에서 가장 적절한 걸 골라"라고 합니다.
이렇게 하면 정확도는 올라갈 수 있지만, 요리사가 100 번이나 입맛을 다시며 대답을 해야 하니 시간과 비용이 너무 많이 듭니다.
기존 방법 3: "요리사의 머릿속을 훑어보기" (Predictive Heads)
요리사가 말하기 전에, 요리사의 **생각 (내부 상태)**을 직접 읽어서 숫자를 뽑아냅니다.
하지만 기존 방법은 요리사의 생각을 단순히 "한 번 쓱 훑어서 평균"만 냅니다. 마치 복잡한 요리의 맛을 한 모금만 맛보고 "전체적으로 맛있네"라고만 판단하는 것과 비슷해서, 세부적인 맛 (정확한 숫자) 을 놓치기 쉽습니다.
✨ 새로운 방법: RELISH (레리쉬)
이 논문에서 제안한 RELISH는 이 모든 문제점을 해결하는 **똑똑한 '맛 평가 전문가'**입니다.
1. "한 번에 바로 숫자를 읽는다" (효율성)
요리사가 입으로 숫자를 말하게 하지 않습니다. 대신, 요리사의 **생각 (내부 표현)**을 직접 읽어서 숫자로 변환합니다.
비유: 요리사가 100 번 말하게 하거나, 단어 조합을 고민하게 하지 않고, 요리사의 **눈빛과 표정 (내부 데이터)**을 보고 바로 "이건 8.5 점이야!"라고 바로 결론을 내립니다. 그래서 매우 빠르고 가볍습니다.
2. "점점 더 깊게 생각하게 한다" (정확도)
기존 방법들은 요리사의 생각을 한 번만 훑었습니다. 하지만 RELISH 는 다릅니다.
비유: RELISH 는 요리사의 생각을 한 번, 두 번, 세 번... 반복해서 질문하며 다듬습니다.
1 차: "이 요리는 어때?" -> "맛있어."
2 차: "구체적으로 어떤 부분이 맛있고, 어떤 부분이 부족해?" -> "소금기가 살짝 부족하고, 향신료는 적당해."
3 차: "그럼 최종 점수는?" -> "아, 그럼 8.3 점 정도가 적당하겠다."
이렇게 **반복적으로 생각 (Latent Iterative State)**을 정리하며 숫자를 예측하기 때문에, 단순한 평균 내기보다 훨씬 정교하고 정확한 점수를 매깁니다.
3. "가볍지만 강력한" (경량화)
기존에 성능을 높이려면 요리사 (LLM) 전체를 다시 훈련시켜야 하거나, 많은 추가 장비를 달아야 했습니다.
하지만 RELISH 는 요리사 (LLM) 는 그대로 둔 채, 그 옆에 아주 작고 가벼운 **새로운 평가 도구 (약 340 만 개의 파라미터)**만 추가합니다.
비유: 거대한 호텔 (LLM) 을 새로 짓지 않고, 호텔 로비에 아주 작지만 똑똑한 **새로운 컨시어지 (RELISH)**만 고용한 것과 같습니다. 비용은 거의 들지 않지만, 고객 만족도 (정확도) 는 크게 올라갑니다.
📊 결론: 왜 이것이 중요한가요?
이 연구는 5 가지 다른 데이터셋과 4 가지 다른 거대 모델을 테스트했습니다. 결과는 놀라웠습니다.
정확도: 기존에 가장 좋았던 방법들보다 더 높은 정확도를 기록했습니다. (예: 상관관계 점수가 6.7%~19.9% 향상)
비용: 기존 방법들보다 학습에 필요한 메모리와 계산량이 10 배 이상 적게 들었습니다.
적용: 번역의 품질을 점수 매기거나, 두 문장의 의미를 얼마나 닮았는지 0~5 점으로 매기는 등 숫자로 표현해야 하는 모든 작업에 쓸 수 있습니다.
한 줄 요약:
"거대 AI 가 숫자를 예측할 때, 입으로 말하게 하거나 여러 번 물어보는 대신, AI 의 생각을 반복적으로 정교하게 읽어내어 빠르고 정확하게 숫자를 예측하는 새로운 방법을 개발했습니다."
이 방법은 AI 를 더 똑똑하게 만들면서, 동시에 더 가볍고 빠르게 만들어줍니다. 마치 고급 레스토랑에 작은 나비 한 마리만 추가해서 메뉴의 맛을 완벽하게 점수화하는 것과 같습니다.
RELISH: 대규모 언어 모델을 위한 잠재적 반복 상태 헤드를 활용한 회귀 분석 (LLM Regression with a Latent Iterative State Head)
이 논문은 대규모 언어 모델 (LLM) 을 활용한 텍스트 회귀 (Text Regression) 작업을 위해 제안된 새로운 경량 아키텍처인 **RELISH (REgression with a Latent Iterative State Head)**를 소개합니다. 기존 방법론들의 한계를 극복하고, 고정된 LLM 표현에서 직접 스칼라 값을 예측하는 효율적이고 강력한 방법을 제시합니다.
1. 문제 정의 (Problem)
LLM 시대에 대부분의 NLP 작업은 '텍스트 입력 → 텍스트 출력' 패러다임으로 통합되었습니다. 그러나 분류나 **회귀 (Regression)**와 같은 예측 작업에서는 이 패러다임이 최적의 선택이 아닙니다.
텍스트 생성의 비효율성: 회귀 작업은 연속적인 스칼라 값 (예: 1.0, 3.5) 을 예측해야 하지만, LLM 은 토큰 확률 기반으로 텍스트를 생성합니다. 목표 값이 1.0 일 때, 언어 모델링 손실 (교차 엔트로피) 은 0.9 와 0.1 을 동등하게 처리하지만, 회귀 손실 (MSE 등) 은 0.9 를 훨씬 선호합니다.
기존 방법론의 한계:
자기회귀 디코딩 (Autoregressive Decoding): 숫자를 텍스트로 생성 후 파싱합니다. 토큰 확률에 기반하므로 수치적 근접성을 고려하지 않아 성능이 제한적입니다.
회귀 인식 추론 (Regression-Aware Inference, RAIL): LLM 의 출력 분포에서 베이지안 최적 결정 규칙을 적용합니다. 수치적 오차를 최소화하지만, 다중 샘플링이나 후보 enumeration 이 필요하여 추론 비용이 높습니다.
예측 헤딩 (Predictive Heads): LLM 의 내부 표현을 직접 수치로 매핑합니다. 효율적이지만, 기존 방법은 단순한 평균 풀링 (Mean Pooling) 같은 고정된 집계 방식을 사용하여 중요한 토큰 수준의 정보를 놓칠 수 있습니다.
핵심 질문: "예측 헤드의 효율성을 유지하면서, 회귀 인식 추론의 예측 성능을 달성할 수 있을까?"
2. 방법론 (Methodology: RELISH)
RELISH 는 텍스트 생성 없이, 고정된 (Frozen) LLM 의 토큰 수준 표현을 기반으로 스칼라 값을 직접 예측하는 경량 예측 헤드 아키텍처입니다.
핵심 구조
잠재 상태 (Latent State): RELISH 는 학습 가능한 초기 잠재 상태 r(0)를 유지합니다.
반복적 정제 (Iterative Refinement): 이 잠재 상태는 LLM 의 토큰 표현 H(x)에 대해 **크로스 어텐션 (Cross-Attention)**을 통해 L번 반복적으로 정제됩니다.
r(i)=Refine(r(i−1),H(x))
이 과정에서 잠재 상태는 토큰별 정보를 반복적으로 주시하며 회귀에 필요한 정보를 추출하고 요약합니다.
선형 회귀 (Linear Regressor): 최종 정제된 상태 r(L)를 선형 레이어를 통해 스칼라 예측값으로 매핑합니다.
특징
고정된 백본: LLM 의 백본 파라미터는 고정하고, 예측 헤드 부분 (프로젝션, 잠재 상태, 정제 모듈, 선형 가중치) 만 학습합니다.
단일 패스 (Single-pass): RAIL 과 같은 다중 샘플링이 필요 없어 추론 속도가 빠릅니다.
동적 요약: 단순한 평균 풀링이 아닌, 학습 가능한 쿼리를 통해 토큰별 정보를 동적으로 선택하고 요약합니다.
3. 주요 기여 (Key Contributions)
새로운 예측 헤드 아키텍처: LLM 기반 회귀를 위한 반복적 잠재 상태 정제 메커니즘을 도입하여, 고정된 표현에서 회귀 관련 정보를 더 효과적으로 추출합니다.
포괄적인 비교 분석: 5 개의 데이터셋, 4 개의 LLM 백본 (8B~32B), 그리고 고정 (Frozen) 및 LoRA 파인튜닝 regimes 에 걸쳐 자기회귀, 회귀 인식, 예측 헤드 등 기존 3 가지 주요 계열의 방법론과 비교했습니다.
압도적인 성능과 효율성:
성능: 기존 최상위 기법 (RAFT 등) 대비 Pearson 상관관계 (6.7%), Spearman 상관관계 (7.2%), 범위 정규화 RMSE (19.9%) 를 개선했습니다.
효율성: 학습 가능한 파라미터가 약 3.4~3.7M에 불과하며, 이는 LLM 백본 크기의 **0.010.04%**에 해당합니다. 반면, LoRA 기반 대안은 모델 크기에 비례하여 0.260.42% 의 오버헤드를 발생시킵니다.
4. 실험 결과 (Results)
실험 설정
데이터셋: 의미적 텍스트 유사성 (STS-B, SICK-R) 및 기계 번역 품질 평가 (WMT EN-ZH, RU-EN, SI-EN) 등 5 개 데이터셋.
모델: Llama 3.1 8B, Qwen3 8B/32B, Gemma 3 27B 등 4 개 LLM.
비교 대상: Zero-shot/Many-shot 프롬프팅, RAIL, RAFT, 선형 회귀, MLP 예측 헤드 등.
주요 성과
일관된 우위: 모든 백본과 데이터셋에서 RELISH 가 가장 높은 예측 성능을 기록했습니다. 특히 기계 번역 품질 평가 (WMT) 와 같은 복잡한 작업에서 기존 방법론 대비 큰 개선을 보였습니다.
LoRA 대비 효율성: LoRA 를 사용하여 백본을 미세 조정하는 것보다, 고정된 백본 위에 RELISH 헤드만 학습하는 것이 더 적은 파라미터로 더 높은 성능을 냈습니다. 이는 회귀 작업의 병목이 새로운 지식 습득이 아니라, 기존 표현에서 정확한 스칼라를 추출하는 능력에 있음을 시사합니다.
아키텍처의 중요성: 단순한 파라미터 수 증가 (MLP 등) 가 아닌, 반복적 정제 (Iterative Refinement) 구조가 성능 향상의 핵심 원인임을 어블레이션 연구를 통해 입증했습니다.
5. 의의 및 결론 (Significance)
RELISH 는 LLM 을 활용한 회귀 작업에서 효율성과 성능의 트레이드오프를 해결한 획기적인 접근법입니다.
실용성: 추론 시 추가적인 샘플링 비용 없이 단일 패스로 높은 정확도를 제공하므로, 실시간 애플리케이션에 적합합니다.
확장성: 모델 크기가 커질수록 LoRA 의 파라미터 오버헤드가 급증하는 반면, RELISH 는 백본 크기에 무관하게 일정한 경량 파라미터만 필요하므로 대규모 모델 환경에서 더욱 유리합니다.
응용 가능성: 이 기술은 보상 모델링 (Reward Modeling), LLM-as-a-Judge(LLM 을 평가자로 활용), 불확실성 추정 (Uncertainty Quantification) 등 다양한 분야에서 스칼라 점수 예측이 필요한 작업에 직접 적용될 수 있습니다.
결론적으로, RELISH 는 LLM 의 내부 표현에 이미 존재하는 수치적 신호를 더 정교하게 추출할 수 있는 아키텍처적 혁신을 통해, 텍스트 기반 회귀 작업의 새로운 표준을 제시합니다.