SenseAI: A Human-in-the-Loop Dataset for RLHF-Aligned Financial Sentiment Reasoning

이 논문은 강화학습 기반 인간 피드백 (RLHF) 에 최적화된 인간 개입 검증 금융 감성 데이터셋 'SenseAI'를 소개하고, 이를 통해 대규모 언어 모델의 금융 추론 오류가 예측 가능하고 교정 가능한 체계적 패턴을 보임을 규명했습니다.

핵심

📈 "센스AI": 금융 뉴스 해석을 위한 '인간-인공지능' 협업 데이터 이야기

이 논문은 **"금융 뉴스의 감정을 인공지능 (AI) 이 어떻게 이해하고, 인간 전문가가 어떻게 그것을 바로잡아 더 똑똑하게 만들 수 있는지"**에 대한 새로운 방법론을 소개합니다.

기존의 AI 는 금융 뉴스를 읽을 때 "좋다/나쁘다"라고만 말했지만, 이 연구는 **"왜 그렇게 생각했는지, 그리고 그 생각이 왜 틀렸을 수 있는지"**까지 가르쳐주는 데이터를 만들었습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: AI 는 "과유불급"을 너무 좋아해요 🤖📉

지금까지의 금융 AI 모델들은 금융 뉴스를 읽을 때 아주 조심스럽습니다. 마치 시험을 볼 때 정답을 확신하지 못해 "아마도 맞을 거예요"라고만 답하는 학생처럼요.

• 현실: "매출이 엄청나게 좋았지만, 시장 상황은 안 좋았어"라는 뉴스가 들어오면, AI 는 "약간 긍정적 (Slightly Bullish)"이라고 답합니다.
• 문제: 실제 투자에서는 "매우 긍정적 (Bullish)"과 "약간 긍정적"의 차이가 수천만 원의 손익을 결정합니다. AI 가 너무 중립적이고 애매모호하게 말하면, 기업이나 투자자는 정확한 판단을 내릴 수 없습니다.

2. 해결책: "센스AI"라는 새로운 교재 📚✨

저자는 기존에 없던 **새로운 학습 자료 (데이터셋)**를 만들었습니다. 이름은 **'센스AI (SenseAI)'**입니다. 이 자료는 단순히 정답만 알려주는 게 아니라, AI 의 생각 과정 (추론) 과 인간의 수정 과정을 모두 기록합니다.

이걸 요리 실습에 비유해 볼까요?

• 기존 데이터 (FinancialPhraseBank): "이 요리는 맛있다/맛없다"라고만 적힌 메뉴판입니다.
• 센스AI (SenseAI):
  1. AI 의 시도: "이 요리는 소금기가 약간 부족해서 '약간 맛있다'고 생각합니다." (AI 의 생각)
  2. 셰프 (인간 전문가) 의 수정: "아니야, 이 재료의 특성을 보면 '매우 맛있다'가 맞아. 소금 양은 적절했어." (인간의 교정)
  3. 결과 확인: 실제로 사람들이 먹어보고 "진짜 맛있네!"라고 반응했습니다. (실제 주가 변동 확인)

이처럼 센스AI 는 AI 가 왜 틀렸는지, 인간이 어떻게 고쳤는지, 그리고 그 고침이 실제로 맞았는지까지 모두 기록한 '완벽한 요리 교재'입니다.

3. 발견된 6 가지 놀라운 사실 (AI 의 습관) 🔍

이 데이터를 분석하면서 AI 의 숨겨진 습관 6 가지를 발견했습니다.

1. 언어적 '약속'에 너무 민감함: "하지만 (despite)" 같은 단어가 하나만 있어도 AI 는 긍정을 부정으로 바꿔버립니다. 너무 조심스러운 성격입니다.
2. 자신감 과소평가: AI 는 100% 확신할 때도 "60% 정도 확신해요"라고 말합니다. 마치 자신은 못 믿지만, 남은 믿어주는 친구처럼요.
3. 보이지 않는 '사고의 흐름' (Latent Reasoning Drift): AI 는 뉴스 글자만 보고 판단하는 게 아니라, 과거에 배운 다른 뉴스들의 기억까지 섞어서 판단합니다. 마치 뉴스를 읽는데, 친구의 과거 이야기를 떠올리며 판단하는 것처럼요.
4. 황금 구역 (Goldilocks Zone): AI 는 완전히 망치는 건 아닙니다. 대부분은 방향은 맞는데, '정도'가 약합니다. (예: "매우 좋다"를 "약간 좋다"라고 함). 이 정도면 인간이 조금만 도와주면 완벽해집니다.
5. 미래를 미리 예측함 (Forward Projection): 뉴스에 없는 "내일 주가가 오를 거야"라는 내용을 AI 가 스스로 상상해서 덧붙입니다.
6. 모델 버전이 좋아져도 습관은 남음: AI 모델이 업데이트되어도 이 '조심스러운 습관'은 그대로 남아있어, 여전히 인간의 교정이 필요합니다.

4. 왜 이게 중요한가요? 💼🚀

이 연구는 **기업용 AI(에이전트)**를 만드는 데 필수적입니다.

• 기존: AI 가 "아마도 오를 거야"라고 하면, 인간이 다시 확인해야 해서 시간이 걸립니다.
• 센스AI 이후: AI 가 "이 뉴스는 '매우 긍정적'이고, 그 이유는 ~이기 때문입니다. 그리고 실제 주가도 4 시간 뒤 오름세를 보였습니다"라고 정확한 근거와 함께 답을 줍니다.

이는 증권사, 헤지펀드, 은행 등에서 AI 가 인간 대신 실시간으로 뉴스 분석을 하고 투자 결정을 내릴 때, 실수를 줄이고 신뢰를 얻는 핵심 열쇠가 됩니다.

5. 결론: "완벽한 AI"보다 "배우는 AI"가 필요하다 🤝

이 논문은 **"AI 가 혼자서 모든 것을 알 필요는 없다"**는 메시지를 줍니다.

오히려 **AI 가 실수를 하고, 인간 전문가가 그 실수를 바로잡아주는 과정 (Human-in-the-Loop)**을 데이터로 쌓아두는 것이, 더 똑똑하고 안전한 금융 AI 를 만드는 지름길입니다.

한 줄 요약:

"센스AI 는 AI 가 금융 뉴스를 읽을 때 너무 조심스러워하는 버릇을 고쳐주고, 인간 전문가의 손길로 '진짜 투자자'처럼 똑똑하게 만들어주는 새로운 학습 지도입니다."

이 데이터는 이제 막 시작되었으며, 앞으로 더 많은 금융 뉴스와 AI 의 학습 과정을 기록하며 계속 발전할 예정입니다.

기술 요약

논문 요약: SenseAI (RLHF 정렬 금융 감정 추론을 위한 인간 - 루프 데이터셋)

1. 문제 정의 (Problem Statement)

기존의 금융 자연어 처리 (NLP) 데이터셋 (예: FinancialPhraseBank) 은 대규모 언어 모델 (LLM) 의 현대적 요구사항, 특히 RLHF(Reinforcement Learning from Human Feedback, 인간 피드백을 통한 강화 학습) 기반의 에이전트 시스템 훈련에 적합하지 않은 구조적 한계를 가지고 있습니다.

• 결론 중심의 한계: 기존 데이터셋은 '감정이 무엇인가 (What)'에 초점을 맞추고 있으나, 전문가가 그 결론에 도달하는 **'추론 과정 (How)'**이나 AI 의 추론이 전문가의 판단과 어떻게 **'일탈 (Divergence)'**하는지에 대한 데이터가 부족합니다.
• 검증 부재: 기존 데이터는 시장 결과 (주가 변동 등) 와의 객관적 연계를 포함하지 않아, 감정 분류의 실제 유효성을 검증하기 어렵습니다.
• 고위험 환경의 부적합성: 금융 분야는 오분류 시 직접적인 금전적 손실로 이어지므로, 단순한 이진 분류를 넘어선 정교한 추론과 신뢰도 보정이 필수적입니다.

2. 방법론 (Methodology)

SenseAI 는 인간 - 루프 (HITL, Human-in-the-Loop) 검증 엔진을 기반으로 지속적으로 수집되는 독점 데이터셋입니다.

• 데이터 수집 및 구조:
  • 소스: 40 개의 미국 상장 주식과 13 개의 금융 카테고리에서 수집된 뉴스 헤드라인.
  • 생성 프로세스: LLM 이 뉴스에 대해 (1) 요약, (2) 5 단계 감정 분류 (강한 매수/약한 매수/중립/약한 매도/강한 매도), (3) 전체 사고 체인 (Chain-of-Thought, CoT) 추론, (4) 신뢰도 점수를 생성합니다.
  • HITL 검증: 금융 전문가 (금융 투자 전공 석사 과정 학생) 가 AI 의 출력을 검토합니다. AI 와 전문가의 판단이 다를 경우, 수정된 라벨과 수정 유형 (Category 0~3) 을 기록합니다.
  • 결과 검증: 분류 후 4 시간 뒤의 실제 주가 데이터를 포함하여 감정 분류의 객관적 유효성을 검증합니다.
• 데이터 스키마: 각 데이터 포인트는 13 개의 필드 (티커, 타임스탬프, AI 감정/추론/신뢰도, 가격 데이터, 인간 수정 여부 및 유형 등) 를 포함하여 RLHF 훈련에 필요한 완전한 인지 컨텍스트를 제공합니다.
• 품질 관리: 단일 annotator 가 과거 데이터를 재평가하는 '자기 일관성 테스트'를 통해 90% 이상의 일관성 목표를 유지합니다.

3. 주요 기여 (Key Contributions)

1. SenseAI 데이터셋 출시: AI 추론 체인, 전문가 수정 신호, 신뢰도 점수, 시장 결과 검증을 모두 포함한 최초의 지속적 HITL 금융 감정 코퍼스입니다.
2. RLHF 구조적 정렬: 기존 데이터셋에 없던 '추론 컨텍스트 (Reasoning Context)'와 '수정 어노테이션 (Correction Annotations)'을 포함하여, 보상 모델 (Reward Model) 훈련 및 감독 미세 조정 (SFT) 에 직접 적용 가능한 구조를 제공합니다.
3. 6 가지 새로운 실증적 발견: CoT 데이터를 통해 기존 데이터셋에서는 불가능했던 6 가지 LLM 행동 패턴을 최초로 문서화했습니다.

4. 주요 결과 및 발견 (Key Findings)

데이터 분석을 통해 도출된 6 가지 핵심 발견은 다음과 같습니다.

1. 언어적 한정어에 대한 감정 과민성 (Sentiment Hypersensitivity): 모델은 강한 방향성 신호가 있어도 "비록 ~하지만"과 같은 한정어에 반응하여 '매수' 대신 '약한 매수'로 과도하게 중립화 (Hedging) 하는 경향이 있습니다. (데이터의 61.3% 가 '약한 매수')
2. 체계적인 신뢰도 과소평가 (Systematic Confidence Over-Hedging): 모델의 신뢰도 점수는 60~69% 구간에 집중되어 있으며, 실제 정확도와 통계적으로 유의미한 상관관계가 없습니다. 즉, 모델이 스스로를 과신하거나 과소평가하지 않고 일관되게 '중간' 신뢰도를 부여합니다.
3. 잠재적 추론 드리프트 (Latent Reasoning Drift): 제공된 텍스트 외의 외부 정보 (기업의 과거 성과, 시장 전반의 맥락) 를 암묵적으로 참조하여 추론을 왜곡하는 현상이 발견되었습니다. 이는 단일 문서 분석의 객관성을 해치는 새로운 현상입니다.
4. 골디락스 존 (The Goldilocks Zone): AI 분류의 약 51.4% 가 인간의 수정이 필요했으나, 그중 49.7% 는 '사소한 수정 (Category 1)'이고 '완전한 반전 (Category 3)'은 0% 였습니다. 이는 모델이 치명적 오류를 범하지는 않지만, 체계적인 보정이 필요한 '수정 가능한 오류 영역'에 있음을 의미합니다.
5. 전진적 투사 (Forward Projection): 모델은 텍스트에 없는 미래 사건이나 시장 조건을 추론에 포함시키는 경향이 있습니다.
6. 모델 버전별 오류율 변화: GPT-5.2 로 업데이트되면서 '중등도 수정 (Category 2)' 오류가 급감했으나, '골디락스 존'의 특성 (사소한 수정 필요) 은 유지되었습니다.

5. 의의 및 중요성 (Significance)

• 기업용 AI 에이전트 배포: 금융 에이전트는 단순 분류가 아닌 '추론의 정확성'과 '신뢰도 보정'이 필수적입니다. SenseAI 는 이러한 요구를 충족시키는 미세 조정 (Fine-tuning) 의 기초 데이터로 작용합니다.
• 규제 준수 및 감사 가능성: '잠재적 추론 드리프트'와 같은 현상을 감지하고 수정함으로써, 금융 규제 기관 (SEC, FCA 등) 이 요구하는 AI 의 설명 가능성 (Explainability) 과 근거 기반 분석을 보장할 수 있습니다.
• 데이터 시장에서의 차별성: 단순한 라벨링 데이터가 아닌, 구조적으로 풍부하고 전문성이 검증된 독점 데이터셋으로서, 향후 LLM 의 도메인 특화 훈련에 있어 핵심 자산 (Strategic Asset) 으로 평가됩니다.
• 미래 연구 방향: 현재 1,439 개의 데이터 포인트를 기반으로 한 실증적 발견을 바탕으로, 향후 5,000~10,000 개로 확장하여 정량적 벤치마크 개선 효과를 입증하고 글로벌 시장으로 확장할 계획입니다.

결론적으로, SenseAI 는 일반 목적 LLM 이 금융 추론에서 보이는 예측 가능하고 수정 가능한 오류 패턴을 규명하고, 이를 RLHF 를 통해 교정하여 고신뢰도 금융 AI 시스템을 구축할 수 있는 기술적 토대를 제공합니다.