기술 요약: 의미적 캐싱을 통한 에이전트형 AI, 중첩 학습 및 AI 지속 가능성으로의 환각 완화

문제 제기

생산 시스템에 대규모 언어 모델 (LLM) 을 배포하는 과정에서 사실적 근거가 없는 주장 (환각) 을 높은 확신으로 생성하는 치명적인 신뢰성 격차가 존재합니다. 단일 모델 환경에서도 문제시되지만, 검증되지 않은 환각이 단계 간에 전파되고 증폭될 수 있는 다중 에이전트 파이프라인에서는 이 문제가 더욱 악화됩니다. 기존 방어 아키텍처는 주로 프롬프트 주입 공격을 위해 설계되었으며, 대부분 입력 측의 단일 패스 필터나 출력 측의 심판자로서 작동하여 이전 상호작용에서 축적된 맥락을 활용하지 못합니다. 또한, 다단계 검토 파이프라인은 순차적 LLM 호출로 인한 지연 시간과 비용, 그리고 사실적 기반을 개선하기 위한 모델 재학습 부재로 인해 규모 확장 시 운영상 실행 불가능한 경우가 많습니다.

방법론

저자들은 HOPE(Hierarchical Organization of Processing and Experience) 프레임워크의 중첩 학습 아키텍처에서 영감을 받은 **연속 기억 시스템 **(CMS)과 통합된 **오픈 플로어 프로토콜 **(OFP)을 통해 오케스트레이션되는 3 단계 에이전트 파이프라인을 제안합니다.

1. 에이전트 파이프라인 아키텍처

이 시스템은 Ollama 를 통해 Llama 3.1에서 실행되는 추론 매개변수와 시스템 프롬프트가 구분된 4 개의 고유 에이전트를 사용합니다:

• FrontEndAgent(1 단계): 의도적으로 "약한" 고 확률적 생성기 ($temp=1.0$) 로 구성됩니다. 면책 조항을 피하고 full confidence 로 답변하도록 지시받아 환각의 측정 가능한 기준선 (높은 사실적 주장 밀도) 을 생성합니다.
• SecondLevelReviewer(2 단계): 주요 교정자 ($temp=0.1$) 로 작용합니다. 근거 없는 주장을 감지하고 신중한 표현으로 대체하며, 구조화된 메타데이터 (utterance, whisper_context, whisper_value) 를 출력합니다.
• ThirdLevelReviewer(3 단계): 최종 사실성 집행자 ($temp=0.05$) 로 기능합니다. 내부 추론 메타데이터 없이 사용자에게 노출되는 깔끔한 텍스트를 생성하며 권위적인 프레임을 우선시합니다.
• KPI Evaluator(4 번째 에이전트): 의사결정 경로와 독립적으로 평가 지표를 계산하는 읽기 전용 관찰자 ($temp=0.0$) 입니다.

2. 연속 기억 시스템 (CMS) 및 의미적 캐싱

표준 추론 엔진의 무상태적 특성을 해결하고 "중첩 학습"을 가능하게 하기 위해 각 에이전트는 다음으로 구성된 CMS 를 탑재합니다:

• **중기 기억 **(MTM): 최근 프롬프트 - 응답 쌍을 저장하는 LRU(Least Recently Used) 캐시.
• **장기 기억 **(LTM): MTM 에서 주기적으로 통합되어 채워지는 재발 패턴을 위한 LFU(Least Frequently Used) 캐시.
• 의미 색인화: LLM 을 호출하기 전에 에이전트는 all-MiniLM-L6-v2 를 사용하여 프롬프트를 임베딩하고, 임계값 $\tau = 0.87$로 코사인 유사도를 사용하여 캐시를 쿼리합니다. 의미적 매칭이 발견되면 캐시된 응답을 재사용하고, 그렇지 않으면 새로운 추론을 수행합니다.

3. 평가 프레임워크

이 시스템은 310 개의 프롬프트로 구성된 하이브리드 벤치마크에서 평가되었습니다:

• 70% 현실적 인식적 불확실성 프롬프트: 에이전트가 환각을 조장하기보다 유보해야 하는 질문들.
• 30% 위조 유도 스트레스 테스트 프롬프트: 파이프라인이 요청 시 환각을 하도록 압박하도록 설계된 프롬프트.

성능은 **총 환각 점수 **(THS)로 집계된 5 가지 핵심 성과 지표 (KPI) 를 통해 측정됩니다:

• FCD(Factual Claim Density): 낮을수록 좋음.
• FGR(Factual Grounding References): 높을수록 좋음.
• FDF(Fictional Disclaimer Frequency): 높을수록 좋음.
• ECS(Explicit Contextualization Score): 높을수록 좋음.
• OSR(Observability Score Ratio): 추론과 메타데이터의 투명성을 측정하는 새로운 지표.

THS 공식은 위험 신호 (FCD) 에서 완화 신호 (FGR, FDF, ECS, OSR) 를 뺍니다. 더 음수인 THS는 더 강력한 완화를 나타냅니다. 균형 잡힌 Baseline부터 ExtremeObservability까지 5 가지 가중치 구성이 테스트되었습니다.

주요 결과

1. 완화 효과

비대칭 파이프라인 설계는 사실적 신뢰성에서 상당한 엔드 - 투 - 엔드 개선을 가져왔습니다:

• THS 감소: 5 가지 가중치 구성 전반에 걸쳐 파이프라인은 FrontEndAgent 에서 ThirdLevelReviewer 로 이동하며 총 환각 점수가 -31.3% 에서 -35.9%까지 감소했습니다.
• U 자형 궤적: SecondLevelReviewer 는 가장 낮은 (최상의) 로컬 THS 점수 (예: ExtremeObservability에서 -0.1005) 를 달성했습니다. ThirdLevelReviewer 는 장황한 유보 (높은 FDF/ECS) 를 간결하고 권위 있는 출력으로 교환함에 따라 THS 가 약간 반등했습니다 (예: -0.0709). 그럼에도 불구하고 초기 생성기보다 훨씬 더 우수했습니다.
• 가시성 영향: OSR, FDF, ECS 를 강력하게 가중치한 ExtremeObservability 구성이 가장 음수인 최종 THS(-0.0709) 를 달성하여 투명성과 감사 가능성을 우선시하는 것이 완화를 약화시키지 않고 오히려 강화함을 확인했습니다.

2. 효율성 및 지속 가능성

의미적 캐싱은 계산 부하를 크게 줄여 다단계 파이프라인의 규모 확장 가능성을 현실화했습니다:

• 캐시 히트율: 시스템은 930 회 잠재적 호출 중 440 회 캐시 히트를 달성하여 47.3% 의 히트율을 기록했습니다.
• 추론 감소: 효과적인 LLM 호출 횟수가 930 회에서 490 회로 감소하여 모델 재학습 없이 에너지 소비와 CO2e 발자국을 낮췄습니다.
• 균일 분포: 히트율은 단계 간에 일관되었습니다 (46.1% → 47.1% → 48.7%), 이는 효율성 향상이 고립된 돌발 현상이 아닌 분산되어 있음을 나타냅니다.

중요성 및 주장

이 논문은 메모리 강화 다중 에이전트 설계가 모델 가중치를 수정하지 않고도 사실적 신뢰성, 운영 효율성 및 감사 가능성을 동시에 개선할 수 있음을 입증한다고 주장합니다.

• 운영 실행 가능성: 의미적 캐싱을 통합함으로써 저자들은 생산에 너무 비용이 많이 든다고 간주되던 다단계 검토 파이프라인이 운영상 실행 가능해졌다고 주장합니다.
• 아키텍처 통찰: 의도적으로 "약한" 첫 번째 에이전트 (높은 확률성) 가 측정 가능한 환각 부하를 생성하여 하류 심판자들의 교정 가치를 정량화하는 데 필수적임을 본 연구는 검증합니다.
• 완화로서의 가시성: 평가 함수에서 가시성 (OSR) 을 가중치하는 것이 성능을 저하시키지 않고 오히려 완화 품질을 적극적으로 강화한다는 결과가 도출되었습니다.
• 실용적 구현: 이 작업은 기존 추론 엔진과 호환되는 실용적이고 캐싱 기반의 접근 방식을 사용하여 중첩 학습 (HOPE) 의 이론적 원리를 근사화하며, 에이전트 시스템에서의 환각 전파에 대한 구체적인 방어책을 제시합니다.

저자들은 벤치마크가 인공적이며 KPI 평가자가 모델 기반임을 인정하며 겸손한 입장을 견지합니다. 향후 작업은 더 큰 실세계 코퍼스, 교차 심판자 견고성 검사, 그리고 인프라 인식 지속 가능성 보고를 위한 직접 전력 계측이 필요하다고 밝힙니다.