Cognitive Load and Information Processing in Financial Markets: Theory and Evidence from Disclosure Complexity

금융의 세계에서 기업들은 자신들의 자금, 부채, 그리고 향후 계획에 관한 상세한 보고서를 공개해야 합니다. 수십 년 동안, 이러한 보고서를 이해하는 난이도는 전적으로 문서 자체에 달려 있다는 가정이 지배적이었습니다. 만약 보고서가 길거나, 문장이 복잡하거나, 빽빽한 표로 가득 차 있다면, 그것은 "읽기 어렵다"고 간주되었으며, 그 어려움은 종이 자체가 가진 고정된 속성이라고 생각되었습니다. 이러한 관념은 연구자들이 투자자의 행동을 연구할 때, 읽는 사람이 누구인지 또는 어떤 도구를 사용하는지와 상관없이 복잡한 보고서는 모두를 혼란스럽게 만들 것이라고 가정하게 만들었습니다. 그러나 정보가 전달되는 방식이 변했습니다. 이제 기업들은 두 가지 형태의 보고서를 동시에 제출합니다. 하나는 인간의 눈을 위해 만들어진 전통적인 문서이고, 다른 하나는 컴퓨터가 즉각적으로 읽을 수 있도록 설계된 구조화된 디지털 파일입니다. 이러한 변화는 새로운 질문을 던집니다. 인간이 읽을 때와 기계가 처리할 때, 보고서의 난이도는 동일하게 유지되는가?

연구팀은 보고서의 난이도를 단일한 숫자가 아니라, 독자, 과업, 그리고 인터페이스라는 세 가지 요소가 함께 작용하여 만들어지는 결과물로 취급함으로써 이 질문에 답하고자 했습니다. 그들은 인공지능과 자동화된 소프트웨어가 문서를 읽는 주체로 점점 더 부상하는 시대에도 과거의 규칙이 여전히 적용되는지 확인하고 싶었습니다. 이를 위해 연구팀은 미국 증권거래위원회(SEC)의 역사적 데이터를 검토하고, 수천 건의 현대적 공시 자료를 분석했으며, 컴퓨터 모델이 다양한 방식으로 기업 보고서에 관한 질문에 답하도록 하는 대규모 실험을 수행했습니다. 그들의 연구는 금융 보고서의 복잡성이 문서의 안정적인 특성이 아님을 밝혀냈습니다. 대신, 복잡성은 누가 질문을 던지는지, 그리고 어떻게 질문을 던지는지에 따라 달라집니다.

연구진은 먼저 보고 규칙이 변경되었던 역사의 특정 시점을 살펴보았습니다. 2009년경, 대기업들은 표준 보고서와 함께 XBRL이라 불리는 특수한 기계 판독 가능 형식을 사용하여 재무 데이터를 제출해야 했습니다. 연구팀은 정부 웹사이트의 트래픽 로그를 재구성하여 사람들과 컴퓨터가 이 변화에 어떻게 반응했는지 살펴보았습니다. 그들은 이 규칙이 단순한 온-오프 스위치처럼 작동하지 않았음을 발견했습니다. 이 요구 사항이 기계 판독 가능 파일의 사용을 증가시키기는 했지만, 사람들이 표준 문서를 읽는 횟수를 급격히 감소시키지는 않았습니다. 더 중요한 것은, 데이터가 두 형식이 서로 다른 목적을 수행하고 있음을 시사했다는 점입니다. 기계 판독 가능 파일은 자동화된 시스템에 의해 더 자주 액세스되었고, 인간이 읽는 문서는 직접적인 독해를 위한 주요 원천으로 남아 있었습니다. 이는 보고서를 읽는 "부담"이 이동하고 있음을 나타냈습니다. 인간에게 부담은 여전히 긴 텍스트를 읽는 것이었지만, 기계에게 부담은 구조화된 파일 내에서 적절한 숫자를 찾아내는 것이었습니다.

오늘날 이 두 세계가 어떻게 상호작용하는지 이해하기 위해, 연구진은 20만 건 이상의 현대적 공시 자료를 조사했습니다. 그들은 놀라운 패턴을 발견했습니다. 인간을 위해 가장 길고 복잡한 보고서를 생산하는 기업들이 종종 기계를 위해 가장 풍부하고 상세한 데이터를 제공하는 기업들이기도 했습니다. 과거의 연구자라면 긴 보고서가 단순히 모두에게 "어렵다"고 가정했을 것입니다. 그러나 새로운 데이터는 보고서가 길이와 어휘 때문에 사람에게는 매우 읽기 어려울 수 있지만, 컴퓨터가 특정 사실을 추출하기에는 매우 쉬울 수 있다는 것을 보여주었습니다. 이는 단어 수나 문장 길이를 세는 기존의 복잡성 측정 방식이 더 이상 전체 이야기를 말해주지 못함을 의미합니다. 보고서는 인간에게는 "어렵고" 기계에게는 동시에 "쉬울" 수 있습니다. 또한 연구진은 더 복잡한 사업을 운영하는 대기업일수록 높은 인간 독해 부담과 높은 기계 접근성을 모두 갖는 경향이 있다는 것을 발견했습니다. 이는 사람이 이해하기 쉬운 것과 컴퓨터가 이해하기 쉬운 것 사이의 격차가 무작위가 아니라, 현대 금융 시스템의 구조적 특징임을 시사합니다.

연구의 가장 결정적인 부분은 인공지능이 이러한 보고서에 관한 질문에 얼마나 잘 답할 수 있는지를 테스트한 통제된 실험이었습니다. 연구진은 "순이익은 얼마인가?" 또는 "유동비율은 얼마인가?"와 같은 기업 재무에 관한 432개의 구체적인 질문을 선정하여 6개의 서로 다른 AI 모델에게 던졌습니다. 그들은 12가지의 서로 다른 조건 하에서 이 질문들을 테스트했습니다. 어떤 경우에는 AI에게 복잡한 전체 인간용 문서를 주었습니다. 다른 경우에는 AI에게 필요한 사실만을 정리한 완벽하게 조직된 목록을 주었습니다. 또한 어떤 경우에는 AI가 스스로 사실을 찾아야 했고, 다른 경우에는 사실이 AI에게 직접 전달되었습니다.

결과는 명확하고 구체적이었습니다. AI에게 전체 인간용 문서를 주고 스스로 숫자를 찾게 했을 때, 정답률은 약 47%에 불과했습니다. 그러나 연구진이 동일한 텍스트를 제공하되 관련 사실을 찾기 쉽게 조직해 주었을 때, 정확도는 거의 100%로 급증했습니다. 이는 AI의 문제가 언어나 수학을 이해하지 못하는 데 있는 것이 아니라, 수천 개의 단어 속에서 적절한 숫자를 찾는 데 있다는 것을 입증했습니다. 연구진은 또한 특수한 기계 판독 가능 형식(XBRL)이 본질적으로 일반 텍스트보다 더 나은지 테스트했습니다. 그들은 AI에게 동일한 사실을 두 형식 모두로 제공했을 때, 정확도의 차이가 거의 없다는 것을 발견했습니다. 기계 판독 가능 형식의 이점은 형식 그 자체에서 오는 것이 아니라, 필요한 특정 숫자를 찾는 것을 더 쉽게 만들어 준다는 점에 있었습니다.

이 발견은 단순히 기계 판독 가능 형식으로 전환하는 것이 모든 문제를 해결한다는 생각을 반박합니다. 연구진은 실질적인 병목 현상이 "증거 국지화(evidence localization)", 즉 대규모 문서 내에서 적절한 정보를 찾아내는 능력이라는 것을 보여주었습니다. 컴퓨터가 숫자를 찾을 수만 있다면, 그 숫자가 구조화된 파일에서 왔든 일반 텍스트 문서에서 왔든 상관없이 정답을 계산할 수 있습니다. 또한 연구진은 AI가 학습 데이터에서 답을 암기하고 있는 것인지 테스트했습니다. 그들은 보고서의 숫자를 새로운 가공의 값으로 바꾸고 다시 질문을 던졌습니다. AI는 여전히 정답을 맞혔으며, 이는 AI가 단순히 오래된 사실을 회상하는 것이 아니라 실제로 문서를 읽고 작업을 수행하고 있음을 증명했습니다.

연구는 우리가 금융 보고서의 복잡성을 단일하고 고정된 점수로 취급해서는 안 된다고 결론짓습니다. 보고서의 난이도는 독자, 과업, 그리고 정보에 접근하는 도구에 따라 달라집니다. 인간 투자자에게 긴 보고서와 복잡한 언어는 무거운 짐입니다. 기계에게 부담은 텍스트의 바다 속에서 적절한 데이터 포인트를 찾는 것입니다. 연구진은 인간의 어려움과 기계의 용이함 사이의 격차가 점점 벌어지고 있으며, 정보를 접하는 데 사용하는 도구가 문서 자체보다 더 중요하다는 것을 발견했습니다. 이는 우리가 인공지능이 우리의 금융 결정을 돕는 시대로 나아감에 따라, 보고서를 정적인 객체가 아니라 어떻게 처리되느냐에 따라 변하는 동적인 입력값으로 생각해야 함을 의미합니다. 난이도는 종이 안에 있는 것이 아니라, 종이와 그것을 이해하려는 사람 또는 기계 사이의 경로에 있습니다.