Towards a Theory of Pragmatic Information

우리가 우주를 이해하는 방식의 세계에서, 신호의 가공되지 않은 데이터와 그로부터 우리가 추출하는 실제 의미 사이에는 오래된 구분이 존재합니다. 수십 년 동안 표준 정보 과학은 거의 전적으로 기술적인 측면에 집중해 왔습니다. 즉, 메시지를 얼마나 정확하게 보낼 수 있는지, 일련의 기호를 전송하는 데 얼마나 많은 비트가 필요한지, 그리고 그 전송 과정에서 어떻게 오류를 방지할 것인지에 관한 것입니다. 정보 이론이라고 알려진 이 프레임워크는 그 기호들이 수신자에게 실제로 새롭거나 유용한 것을 말해주는지 묻지 않고, 메시지를 기호의 배열로 취급합니다. 이는 편지 봉투를 열어 그 안에 연애 편지가 들어 있는지, 고지서가 들어 있는지, 아니면 빈 종이가 들어 있는지 확인하지 않은 채 편지의 무게만을 측정하는 것과 같습니다. 이러한 기술적 접근 방식은 통신 네트워크를 구축하는 데 엄청난 성공을 거두었지만, 정보를 받는 인간의 경험에 대해서는 공백을 남겨둡니다. 우리는 흔-히 메시지가 우리의 생각을 바꾸거나 더 나은 선택을 하도록 도와줄 때만 "정보가 있다"고 말하지만, 이 분야의 표준 수학적 도구들은 그러한 변화를 측정할 방법이 없습니다.

이 간극은 뉴욕 대학교의 연구자인 에드워드 D. 와인버거(Edward D. Weinberger)가 제안한 새로운 이론적 프레임워크의 초점입니다. 그의 연구는 데이터의 기술적 전송과 그 데이터가 의사 결정자에게 갖는 실질적 효용 사이의 격차를 메우고자 시도합니다. 핵심 아이디어는 단순하면서도 심오합니다. 정보는 그것을 받는 사람이나 기계의 믿음을 변화시킬 때, 특히 의사 결정에 영향을 미치는 방식으로 변화시킬 때만 의미를 갖는다는 것입니다. 와인버거는 이를 "실용적 정보(pragmatic information)"라고 부릅니다. 이것은 메시지의 길이나 코드의 복잡성에 관한 것이 아니라, 수신자의 마음속에서 일어나는 확률의 변화에 관한 것입니다. 만약 메시지가 도착했는데 수신자의 세상에 대한 이해가 정확히 동일하게 유지된다면, 아무리 많은 단어가 말해졌더라도 실용적 정보는 획득되지 않은 것입니다. 반대로, 단 한 마디의 말이 수신자로 하여금 미래의 사건에 대한 기대를 완전히 수정하게 만든다면, 그 단어는 높은 양의 실용적 정보를 담고 있는 것입니다.

이 개념을 엄밀하게 정의하기 위해, 논문은 의사 결정자가 상황에 대한 일련의 초기 믿음, 즉 확률 분포로 표현되는 "사전(prior)" 관점을 보유하고 있다는 모델을 도입합니다. 메시지가 도착하면, 이러한 믿음은 "사후(posterior)"라고 알려진 새로운 확률 집합으로 업데이트됩니다. 실용적 정보의 양은 이 두 가지 믿음 집합 사이의 거리를 측정함으로써 계산됩니다. 메시지가 큰 변화를 일으키면 거리가 멀어지고 정보는 가치 있는 것이 됩니다. 메시지가 변화를 일으키지 않으면 거리는 0이 되고 정보는 쓸모없는 것이 됩니다. 이 접근 방식은 동일한 메시지가 사람마다 다른 의미를 가질 수 있다는 사실을 설명할 수 있게 해줍니다. 전문가에게는 완전히 당연한 메시지가 그들에게는 실용적 정보가 0일 수 있지만, 초보자에게는 엄청난 양의 실용적 정보를 담은 계시가 될 수 있습니다.

논문은 실용적 정보가 코딩의 효율성과 직접적으로 연결되어 있음을 증명함으로써 이 정의가 수학적 검증 하에서도 유효함을 보여줍니다. 더 간단히 말해, 메시지가 제공하는 실용적 정보의 양은 수신자가 세상에 대한 이해를 업데이트할 때 절약되는 비트의 수와 같습니다. 만약 수신자가 어떤 사건의 결과를 확실하게 알고 있다면, 그들은 최소한의 비트로 그 사건을 설명할 수 있습니다. 만약 그들의 지식이 모호하다면, 가능성들을 설명하기 위해 더 많은 비트가 필요합니다. 메시지가 상황을 명확하게 하면, 세상을 인코딩하는 데 필요한 비트의 수가 줄어듭니다. 이론은 메시지를 받음으로써 발생하는 세상의 인코딩에 필요한 비트 수의 감소량이, 획득한 실용적 정보와 정확히 일치한다는 것을 보여줍니다. 이는 "의미"라는 추상적인 개념을 데이터 압축이라는 물리적 실체에 근거하여 구체적이고 측정 가능한 근거를 제공합니다.

이 이론의 가장 눈에 띄는 응용 사례 중 하나는 "원 암드 밴딧(one-armed bandit)", 즉 지급률을 알 수 없는 슬롯머신 문제에서 발견됩니다. 플레이어가 기계를 계속 플레이할지 결정하려고 노력한다고 상상해 보십시오. 처음에 그들은 기계가 자주 돈을 주는지 아니면 드물게 주는지 전혀 모릅니다. 게임을 진행함에 따라, 그들은 승리와 패배를 관찰하며, 각 결과와 함께 기계의 지급 확률에 대한 자신의 추정치를 업데이트합니다. 논문은 각각의 새로운 스핀이 제공하는 실용적 정보의 양을 정확히 계산합니다. 결과는 일부에게는 직관에 어긋납니다. 플레이를 계속할수록 각 추가 스핀으로부터 얻는 새로운 정보의 양은 감소합니다. 초기 스핀은 플레이어의 믿음을 급격하게 변화시키기 때문에 매우 정보적입니다. 하지만 수백 번의 시도 이후의 후기 스핀은 플레이어가 이미 매우 정확한 추정치를 가지고 있기 때문에 새로운 지식을 거의 더해주지 않습니다. 이론은 정보의 가치가 일정하지 않고 전적으로 수신자가 이미 무엇을 알고 있는지에 달려 있다는 점을 정량화하여, 정보의 수익 체감 법칙을 보여줍니다.

이 프레임워크는 "오정보(disinformation)"와 "노이즈(noise)"의 본질도 다룹니다. 표준 정보 이론에서 거짓 메시지는 그것이 동일한 복잡성을 가진다면 참인 메시지와 똑같이 취급되는 경우가 많습니다. 그러나 실용적 정보의 영역에서는 그 구분이 매우 중요합니다. 수신자의 믿음을 변화시키는 메시지는, 설령 그 새로운 믿음이 틀렸을지라도 여전히 실용적 정보를 운반하는 것으로 간주됩니다. 이론은 정보의 '양'과 그 정보의 '가치'를 분리합니다. 메시지는 마음을 바꾸는 데 매우 효과적일 수 있지만, 만약 그 변화가 나쁜 결정으로 이어진다면 그것은 "실용적으로 오정보적(pragmatically disinformative)"입니다. 논문은 메시지를 세 그룹으로 분류할 수 있다고 제안합니다. 즉, 무관하고 아무것도 바꾸지 않는 것, 유용하고 더 나은 결정을 이끄는 것, 그리고 오정보이며 더 나쁜 결정을 이끄는 것입니다. 이러한 구분은 거짓 정보가 참인 정보만큼이나 행동을 변화시키는 데 효과적일 수 있는 현실 세계의 시나리오를 이해하는 데 필수적입니다.

저자는 이러한 아이디어를 금융 세계로 확장하여, 경제 이론의 초석인 효율적 시장 가설(Efficient Market Hypothesis)에 대한 새로운 관점을 제시합니다. 전통적인 견해는 자산 가격이 이용 가능한 모든 정보를 반영하므로 시장을 지속적으로 이기는 것은 불가능하다고 주장합니다. 논문은 시장이 이용 가능한 데이터로부터 어떠한 실용적 효용도 추출할 수 없는 참여자들에게만 효율적이라는 점을 시사함으로써 이 개념을 재구성합니다. 만약 어떤 시장 뉴스가 트레이더의 믿음을 바꾸고 더 나은 거래를 하도록 돕는다면, 그 정보는 그들에게 실용적으로 유용합니다. 따라서 가설은 정보가 모두에게 쓸모없다는 것이 아니라, 주어진 참여자에게 가용한 정보가 그들에게는 무관하거나 이미 처리된 상태라는 것입니다. 이는 왜 고급 알고리즘을 가진 투자자들이 다른 이들에게는 쓸모없는 데이터에서 가치를 찾아낼 수 있는지를 설명해 줍니다. 시장이 마법처럼 효율적인 것이 아니라, 평균적인 참여자의 계산 능력이 원시 데이터를 실용적 정보으로 전환하는 능력을 제한하고 있는 것입니다.

마지막으로, 논문은 이 이론을 생물학적 함의로 연결하여 종의 진화와 관련 짓습니다. 진화의 맥락에서 "의사 결정자"는 유기체 집단과 환경 사이의 상호작용입니다. 환경은 생존 압력의 형태로 "메시지"를 보내고, 집단은 어떤 형질이 유리한지에 대한 "믿음"을 업데이트합니다. 이론은 진화의 속도가 집단이 이러한 환경적 메시지로부터 추출할 수 있는 실용적 정보의 양에 의해 제한된다고 제안합니다. 인간 트레이더가 처리할 수 있는 데이터의 한계가 있는 것처럼, 생물학적 종 또한 오류를 범하기 전에 신뢰성 있게 축적할 수 있는 정보량에 대한 한계를 가집니다. 이는 돌연변이율이 너무 높아 종이 생존에 필요한 정보를 유지할 수 없게 되는 "오류 카타스트로피(error catastrophe)" 개념으로 이어집니다. 논문은 인간의 뇌든, 컴퓨터든, 혹은 생물학적 게놈이든, 수신자의 계산 능력이 세상으로부터 얼마나 많은 의미를 추출할 수 있는지를 결정하는 근본적인 제약이라고 주장합니다.

결론적으로, 이 연구는 정보는 그것이 만들어내는 변화만큼이나 가치 있다는 직관적인 아이디어에 대한 엄밀한 수학적 토대를 제공합니다. 실용적 정보를 의사 결정으로 이어지는 믿음의 변화로 정의함으로써, 이 이론은 통계학, 컴퓨터 과학, 경제학을 통합합니다. 이는 단순히 얼마나 많은 데이터가 전송되는가라는 기술적 질문을 넘어, 그 데이터가 얼마나 중요한가라는 더 실질적인 질문으로 나아갑니다. 연구 결과는 정보의 가치가 메시 자체의 내재적 속성이 아니라, 메시와 그것을 받는 마음 사이의 관계라는 점을 시사합니다. 이러한 통찰은 도박과 주식 거래부터 생명과 진화의 과정에 이르기까지 우리가 모든 것을 이해하는 방식에 깊은 영향을 미치며, 무한한 데이터의 세계에서 진정한 통화는 그것을 이해하는 능력임을 상기시켜 줍니다.