기술 요약: 요약이 결정을 왜곡할 때: LLM 압축 금융 분석의 정보 충실도(Information Fidelity)

1. 문제 정의

고도의 이해관계가 걸린 금융 도메인에서 의사결정자들은 긴 문서(예: 10-Q 보고서, 실적 발표 스크립트)를 짧은 컨텍스트로 압축하기 위해 대규모 언어 모델(LLM)에 의존한다. 기존의 평가 방식들은 재구성 품질, 사실적 일관성, 또는 표면적인 정보 보존에 초점을 맞추고 있지만, 압축된 컨텍스트가 원문이 내포한 **결정(decision)**을 보존하고 있는지 여부를 평가하는 데는 실패하는 경우가 많다.

본 논문은 **정보 충실도(Information Fidelity)**를 '소스 상대적 결정 보존(source-relative decision preservation)'으로 정의한다. 즉, 압축된 텍스트에 의해 유도된 믿음 분포(belief distribution)가 원본 소스의 분포와 유사하게 유지될 때 압축의 충실도가 높다고 본다. 핵심적인 실패 모드는 단순한 환각(hallucination)이 아니라 **결정 왜곡(decision distortion)**이다. 이는 유창하고 사실적으로 그럴듯한 요약이 하위 의사결정자로 하여금 전체 원문이 지지하는 것과는 다른 투자 판단(Bear/Neutral/Bull)을 내리게 만드는 현상을 의미한다. 이러한 왜곡은 다음과 같은 이유로 발생한다:

• 탈맥락화(Decontextualization): 핵심적인 헤드라인 사실은 유지하면서도, 올바른 해석에 필요한 필수적인 단서(caveats), 상쇄 요인(offsets), 비교, 또는 기대치 프레이밍 등을 제거함.
• 모델 의존성(Model Dependency): 서로 다른 압축 모델들이 동일한 소스에서 서로 다른 하위 증거 집합을 보존함으로써, 결과적으로 모델별로 체계적이고 특정한 편향(tilt)을 유발함.

2. 방법론

2.1 실험 설정

• 데이터셋: 본 연구는 S&P 100 기업의 300개 10-Q MD&A 섹션과 297개의 분기별 실적 발표 스크립트(2025 회계연도 1~3분기)를 활용한다.
• 결정 모델: 고정된 결정 모델($E$), 구체적으로 GEMINI-3.1-FLASH-LITE를 사용하여 텍스트를 $\{bear, neutral, bull\}$에 대한 믿음 분포로 매핑한다.
• 지표:
  • 결정 반전율(Decision Flip Rate): 압축 후 최상위 예측 라벨이 변하는 문서의 비율.
  • 총 변동 거리(Total Variation Distance, TVD): 최상위 라벨이 변하지 않더라도 발생하는 믿음 변화의 크기를 측정.
  • 노이즈 플로어(Noise Floor): 압축 없이 원본 소스를 다시 읽게 하여 결정 모델 자체의 내재적 무작위성을 정량화하여 설정.

2.2 평가된 압축 방식

1. 나이브 프롬프트(Naive Prompt): 고정된 불렛 포인트 예산 내에서 "가장 중요한" 사실을 선택하는 단일 패스 LLM 압축.
2. 맥락화(Contextualization): 단순히 독립적인 핵심 사실만을 선택하는 대신, 사실을 해석 가능하게 만드는 세부 사항(예: 비교, 단서 등)을 보존하도록 지시하는 프롬프트 수정 방식.
3. 토큰 프로닝(Token Pruning): 정보량이 적은 토큰을 제거하는 LLMLingua 및 LongLLMLingua와 같은 방법.
4. 인티그레이터(Integrator): 소스 검증 없이 여러 모델의 요약을 병합하는 방식.
5. 에이전틱 컨텍스트 압축(Agentic Context Compression, ACC): 제안된 2단계 에이전트 프로세스:
   • 생성(Generation): 동일한 소스로부터 서로 다른 모델을 사용하여 여러 후보 압축본을 생성함.
   • 감사(Auditing): 에이전트가 후보들 간의 불일치를 원본 소스와 대조하여 감사함. 에이전트는 특정 소스 구간을 grep하고 read하는 도구를 사용하여, 후보가 과도한 주장(예: 증거가 소스가 뒷받는 것보다 더 낙관적이거나 비관적으로 보이게 만드는 경우)을 하는지 검증함.
   • 선택(Selection): 에이전트는 과도한 주장 위험이 가장 낮고 소스 중심의 커버리지가 가장 좋은 후보를 선택함.

2.3 진단 분석

저자들은 원문을 헤드라인(Headline) 사실(주요 신호), 컨텍스트(Context) 사실(교정치/단서), **보일러플레이트(Boilerplate)**로 분해하는 오프라인 팩트 인벤토리(FActScore 및 SAFE에서 영감을 얻음)를 사용한다. 이를 통해 탈맥락화(컨텍스트 사실의 불균형한 제거)를 정량화할 수 있다.

3. 주요 결과

3.1 심각한 충실도 손실

• 결정 반전: 모든 원샷(one-shot) 압축 베이스라인은 결정 모델의 "노이즈 플로어"를 크게 상회했다. 10-Q MD&A의 경우, 나이브 압축의 결정 반전율은 **33.0%**로, 노이즈 플로어인 11.0%보다 높았다. 실적 발표의 경우, 8.8%의 노이즈 플로어 대비 **23.9%**의 반전율을 기록했다.
• 믿음 표류(Belief Drift): 라벨 반전이 일어나지 않더라도, 압축은 믿음 분포의 유의미한 변화(TVD)를 일으키며 이는 뉘앙스의 상실을 의미한다.
• 예산 민감도: 압축 예산(불렛 개수)을 늘리면 TVD는 감소하지만 결정 반전은 제거되지 않는다. 이는 단순히 공간을 더 많이 할당하는 것이 어떤 정보를 선택하느냐의 문제를 해결하지 못함을 시사한다.

3.2 진단 패턴

• 탈맥락화: 나이브 압축 하에서, MD&A의 "컨텍스트" 사실 비율은 원문의 **25%**에서 압축 출력물에서는 **9%**로 급감했다. 진단적 "재삽입(add-back)" 실험에서 이 탈락된 컨텍스트 사실들을 복구했을 때, 반전된 사례의 **37%**에서 원래의 결정을 회복했으며, 이는 보일러플레이트나 무작위 사실을 복구했을 때보다 유의미하게 높은 수치였다.
• 모델 의존성: 서로 다른 압축기는 동일한 티커에 대해 서로 다른 결정 변화를 유도한다. 예를 들어, 어떤 모델은 주가를 "Bearish" 쪽으로 이동시키는 반면, 다른 모델은 "Bullish" 쪽으로 이동시키며, 높은 TVD 지점이 모델마다 다르게 나타난다. 이는 압축에 의한 왜곡이 무작위적이지 않고 체계적이며 모델 특이적임을 확인시켜 준다.

3.3 에이전틱 컨텍스트 압축(ACC)의 효과

• ACC 성능: ACC는 MD&A 결정 반전율을 **20.3%**로, 실적 발표 반전율을 **18.5%**로 낮추었으며, 이는 나이브 압축 및 (감사 없이 요약을 병합하는) "인티그레이터" 베이스라인보다 우수한 성능을 보였다.
• 산업 사례 연구: 상업용 주식 예측 제품 내 배포 결과, ACC는 원본 소스 베이스라인 대비 정보 계수(IC)를 8.3% 개선하고, 나이브 압축 대비 23.8% 개선하는 동시에, 소스 대비 결정 반전율을 59.5% 감소시켰다.

4. 기여

1. 정보 충실도 기준: 본 논문은 컨텍스트 압축을 평가하기 위해 사실성을 넘어 소스가 내포한 결정을 보존하는지를 평가하는 결정 중심의 메트릭을 도입한다.
2. 왜곡에 대한 실증적 증거: 실제 금융 데이터를 사용하여, LLM 압축이 빈번하게 투자 판단을 변경하며, 탈맥락화와 모델 의서성이 주요 메커즘임을 입증한다.
3. 에이전틱 컨텍스트 압축(ACC): 여러 후보를 생성하고 이를 원본 소스와 대조하여 감사함으로써 결정 반전을 완화하는 소스 기반 절차를 제안하고 검증한다.

5. 의의 및 주장

본 논문은 금융 의사결정에서 고립된 사실을 보존하는 것만으로는 불충분하다고 주장한다. 요약의 가치는 사실을 올바르게 해석하는 데 필요한 맥락적 수식어(단서, 비교, 프레이밍)를 유지하는 능력에 있다.

저자들의 주장은 다음과 같다:

• 압축은 효율성이나 표면적 사실성뿐만 아니라, 결정 관련 맥락을 보존하는 능력에 의해 평가되어야 한다.
• 결정 왜곡은 체계적인 실패 모드이며, 이는 단일 모델의 요약에 의존하기보다 여러 압축된 관점을 소스와 대조하여 감사함으로써 완화될 수 있다.
• 프로덕션 시스템에서 정보 충실도를 유지하는 것은 다운스트림 예측 신호를 유지하는 데 매우 중요하다. 왜냐นั้น 나이브한 압축은 요약이 유창하고 그럴듯해 보일지라도 모델의 성능을 저하시킬 수 있기 때문이다.

6. 한계점

저자들은 본 연구의 결과가 S&P 100 기업의 금융 공시에 특화되어 있으며, 다른 도메인으로 일반화되지 않을 수 있음을 언급한다. 충실도는 인간 분석가나 실제 시장 결과가 아닌 결정 모델을 통해 측정된다. 또한, ACC는 충실도 손실을 줄이기는 하지만 완전히 제거하지는 못하며, 특히 모든 후보 압축기가 동일한 핵심 정보를 누락하는 경우에는 더욱 그러하다.