Identification and Learning of Semantic Observation Kernels: Partial Observation, Uniform Recovery, & Minimax Limits

수다쟁이 기계의 미스터리

당신은 수수께끼를 말하는 신비한 기계를 이해하려고 노력하고 있다고 상상해 보십시오. 이것은 마술이 아닙니다. 이것은 데이터가 무질서하거나 불완전할 때 우리가 어떻게 그로부터 학습하는지를 연구하는 통계학이라는 과학의 한 구석입니다. 통계학의 세계에는 혼돈을 이해하는 데 도움이 되는 두 가지 큰 아이디어가 있습니다. 첫째, **식별(identification)**입니다. 이는 우리가 가진 단서들이 정말로 진정한 답을 찾아내기에 충분한지, 아니면 서로 다른 답들이 똑같이 보일 수 있는지에 대한 질문입니다. 둘째, **역문제(inverse problems)**입니다. 보통 우리는 규칙을 알고 그 결과(예: 재료를 알면 케이크를 예측할 수 있음)를 예측하고자 합니다. 하지만 때로는 케이크만 보고 그 재료를 거꾸로 추측해야 할 때가 있습니다. 이는 어렵습니다. 왜냐하면 케이크를 보는 과정에서의 작은 실수가 재료에 대한 거대하고 엉뚱한 추측으로 이어질 수 있기 때문입니다.

왜 사람들이 이런 것에 관심을 가질까요? 오늘날 우리에게는 이야기를 쓰고, 질문에 답하며, 심지어 전문가처럼 들릴 수도 있는 **대규모 언로 모델(LLM)**이라는 강력한 컴퓨터 프로그램이 있기 때문입니다. 하지만 여기 함정이 있습니다. 이 프로그램들은 진실을 말하기 위해서가 아니라, 문장에서 다음에 올 단어를 예측하도록 훈련되었습니다. 만약 의사가 AI에게 "이 환자가 아픈 상태인가요?"라고 물었을 때, AI가 "긴급 개입 확률이 70%입니다"라고 답한다면, 그 숫자는 단지 AI가 들려주는 이야기의 일부일 뿐입니다. 그것이 실제 환자의 상태에 대한 진짜 확률을 반영한다는 보장은 없습니다. 우리는 AI의 "이야기적 확률"을 의료 분류나 금융 리스크 관리와 같은 심각한 결정을 내릴 수 있는 신뢰할 수 있는 "상태 확률"로 바꿀 방법이 필요합니다.

단어 게임에서 진실로

이 논문은 AI의 "단어 게임"을 신뢰할 수 있는 현실의 지도로 번역하는 방법에 관한 탐정 소설과 같습니다. 저자인 매슈 딕슨(Matthew Dixon)은 단순하지만 까다로운 질문을 던집니다. "우리는 AI가 다양한 구절에 대해 제시하는 확률을 의미 단위로 묶고, 이를 통해 실제 세상의 상태에 대한 진정한 확률을 수학적으로 역설계할 수 있는가?"

AI를 요리사라고 생각해 보십시오. 이 요리사는 오직 "매운 스프", "순한 스프", 또는 "스프 없음"을 제공할 확률만을 말해줍니다. 하지만 고객인 당신은 실제로 주방의 상태, 즉 "가스레인지에 불이 붙었는가?" (긴급), "그저 요리 중인가?" (일상), 또는 "주방이 비어 있는가?" (정보 부족)에 관심이 있습니다. 요리사는 "매운 스프"를 38%, "순한 스프"를 17%라고 말할 수 있습니다. 당신은 이 둘을 하나로 묶어 "가스레인지에 불이 붙었다"는 의미로 처리하여 총 55%라는 값을 얻습니다. 하지만 이 55%가 정말로 가스레인이에 불이 붙을 확률이 55%라는 뜻일까요? 반드시 그렇지는 않습니다. 이 논문은 이를 알아내기 위한 다리를 건설합니다.

다리: 의미 지도와 캘리브레이션(교정)
이 논문은 "AI가 말하는 것"에서 "실제로 진실인 것"으로 건너가기 위한 2단계 다리를 제안합니다.

1. 의미 지도(The Semantic Map): 먼저, 어떤 구절이 같은 의미를 갖는지 결정합니다. "긴급 검토"와 "즉각적 에스컬레이션"을 "긴급"이라는 하나의 바구니로 묶습니다. 이는 긴 목록의 단어 확률을 더 짧은 "의미" 확률 목록으로 변환합니다.
2. 캘리브레이션 맵(The Calibration Map): 이것이 마법 같은 부분입니다. 우리는 저 "의미 확률"을 "진정한 상태 확률"로 변환하는 방법을 배워야 합니다. 이를 위해 이 논문은 고정된(frozen) 연습 사례 세트를 사용할 것을 제안합니다. 520개의 서로 다른 시나리오에 대한 비밀 정답지(참조 사후 확률)가 있다고 상상해 보십시오. 이 시나리오들을 AI에 입력하고, AI가 어떤 확률을 주는지 확인한 다음, AI의 추측을 올바른 답으로 바꾸는 규칙을 수학적으로 학습합니다. 일단 이 규칙을 배우면, 이를 "고정"합니다. 더 이상 변경하지 않습니다. 그런 다음, 새로운 실제 상황이 들어오면, 이 고정된 규칙을 사용하여 AI의 새로운 추측을 신뢰할 수 있는 추정치로 변환합니다.

위대한 발견: 단 한 번 맞히는 것이 전부가 아니다
이 논문은 이 과정이 가능하지만, 엄격한 규칙과 경고가 따른다는 것을 발견했습니다.

• "역 모듈러스(Inverse Modulus, 감도 측정기)": 저자들은 "역 모듈러스"라는 개념을 도입합니다. 기계의 다이얼을 상상해 보십시오. 다이얼이 "1"로 설정되어 있으면, AI의 추측에 있는 작은 오류는 최종 답변의 작은 오류로 이어집니다. 하지만 다이얼이 "0.05"라면, AI의 추측에 있는 작은 오류는 거대하고 쓸모없는 오류로 증폭됩니다. 이 시스템이 작동하려면 이 "다이얼"이 안정적이어야 한다고 논문은 증명합니다. 만약 AI의 언어가 질문 방식(프롬프트 문구)에 너무 민감하다면, 전체 시스템은 무너집니다.
• 누락된 질량 문제(The Missing Mass Problem): 때때로 AI는 모든 가능한 옵션을 나열하지 않고 상위 두 가지만 제시합니다. 만약 나열되지 않은 옵션들의 확률이 0%라고 가정한다면, 당신은 스스로를 속이는 것입니다. 이 논문은 나열되지 않은 옵션들을 단일 숫자가 아닌 "가능성의 구름(집합)"으로 취급해야 한다고 보여줍니다. 이 불확실성의 구름을 계산 과정 내내 가져가야 합니다. 누락된 조각들을 무시한다면, 당신의 최종 답변은 자신 있게 틀릴 것입니다.
• 안정성 함정(The Stability Trap): 이것은 가장 놀라운 발견입니다. 이 논문은 시스템이 단 한 번 정답을 예측한다고 해서 반복해서 사용할 때도 작동한다는 것을 의미하지 않는다는 것을 보여줍니다. 반복적인 사용(예: 매 시간 환자를 체크하는 의사)을 위해 안전하려면, 시스템은 "수축적(contractive)"이어야 합니다. 즉, 작은 실수를 하더라도 다음 단계에서 그 실수를 키우는 것이 아니라 줄여야 한다는 뜻입니다. 이 논문은 시스템이 "수축적"인지 확인하는 것이 단순히 정확성을 확인하는 것보다 훨씬 더 어렵다는 것을 증명합니다. 이는 단순히 결과를 확인하는 것이 아니라 시스템 행동의 *기울기(slope)*를 측정하는 것을 요구합니다.

이 논문이 배제하는 것들
저자들은 이 방법이 할 수 없는 것에 대해 매우 명확하게 밝히고 있습니다.

• AI의 마음을 읽을 수 없다: 논문은 이것이 외부적인 측정임을 명시합니다. 우리는 AI가 무엇을 "믿는다"거나 내부 상태를 가지고 있다고 주장하는 것이 아닙니다. 우리는 단지 AI의 출력을 외부 세계를 측정하기 위한 노이즈가 섞인 신호로 사용할 뿐입니다.
• 나쁜 프롬프트를 고칠 수 없다: 만약 당신이 의미를 변화시키는 방식으로 질문 방식(프롬프트)을 바꾼다면, 시스템은 깨집니다. 논문은 "프롬프트 제시 편향"을 고려하지 않으면 결과가 엉망이 될 것이라고 보여줍니다. 프롬프트 스타일을 고정하거나 사전에 이를 교정해야 합니다.
• 모든 AI를 위한 마법의 탄환이 아니다: 이 방법은 AI의 언어 확률이 서로 다른 상태를 구별할 수 있을 만큼 충분한 정보를 포함하고 있을 때만 작동합니다. 만약 두 가지 서로 다른 실제 상황이 AI로 하여금 똑같은 말을 하게 만든다면, 어떤 수학도 이들을 구별할 수 없습니다. 논문은 이를 "관측적 동등성(observational equivalence)"이라 부르며, 그런 경우 답은 단순히 "알 수 없음"입니다.

얼마나 확신할 수 있는가?
이 논문은 엄격한 수학과 세심한 테스트의 결합입니다.

• 수학: 저자들은 이 시스템이 언제 작동하고, 언제 실패하며, 얼마나 빨리 학습하는지에 대한 정리를 증명했습니다. 그들은 반복 측정을 할 때 예상되는 오류의 양에 대한 정확한 공식을 도출했습니다.
• 시뮬레이션: 그들은 "진정한 답"을 미리 알고 있는 컴퓨터 시뮬레이션을 실행했습니다. 이 테스트에서 방법론은 수학이 예측한 대로 정확하게 작동했습니다. 예를 들어, 반복 관찰 횟수를 두 배로 늘렸을 때, 이론이 말한 대로 오류가 대략 루트 2만큼 감소했습니다.
• 실제 세계 테스트: 그들은 520개의 금융 시장 시나리오가 담긴 고정된 데이터셋을 통해 이를 테스트했습니다. 그들은 두 가지 언어 모델(GPT-4.1-mini 및 GPT-4o-mini)을 사용했습니다. 결과는 이 방법이 높은 정확도(약 90-94% 커버리지)로 올바른 확률을 회복할 수 있으며, 프롬프트의 문구가 약간 변하더라도 결과가 안정적임을 보여주었습니다. 그러나 그들은 이것이 통제된 고정 실험이었음을 강조합니다. 그들은 이 방법이 모든 가능한 프라프트나 모든 실제 상황에서 작동한다는 것을 증명한 것이 아니라, 테스트한 특정 상황들에 대해 증명한 것뿐입니다.

핵-결론
이 논문은 "AI가 완벽하다"거나 "AI가 쓸모없다"고 말하는 것이 아닙니다. 대신, 우리가 무엇을 알고 있는지에 대해 정직해지기 위한 도구 상자를 제공합니다. 이 논문은 AI의 말 많은 추측을 신뢰할 수 있는 확률로 바꿀 수 있지만, 그러기 위해서는 단어를 올바르게 그룹화하고, 누락된 옵션을 고려하며, 시스템이 반복적인 사용을 견딜 만큼 안정적인지 확인해야 한다고 알려줍니다. 이는 AI라는 "블랙박스"를 측정 가능한 도구로 바꾸어 놓으며, 단, 측정의 한계를 존중할 때에만 가능합니다. 만약 누락된 질량을 무시하거나, 시스템이 안정적인지 확인하지 않고 안정적이라고 가정하는 등의 단계를 건너뛰려 한다면, 결과는 추측 게임으로 만든 일기예보만큼이나 신뢰할 수 없게 될 것입니다. 하지만 규칙을 따른다면, 언어 속에 숨겨진 진실에 대한 명확하고 감사 가능한 그림을 얻을 수 있습니다.