The Limits of LLM Forecasting: Parametric Knowledge Gaps Across Conflict Zones

핵심 아이디어: AI는 특정 전쟁에 대해 "눈이 멀어" 있다

폭풍이 언제 더 심해질지 예측하려고 한다고 상상해 보세요. 당신에게는 두 가지 도구가 있습니다:

1. 초지능형 기상 예보관 (LLM): 이 예보관은 지금까지 쓰인 모든 신문, 책, 웹사이트를 읽었습니다. 역사와 지리에 대해 모르는 것이 없습니다.
2. 단순한 강우량계 (로지스틱 회귀): 이 장치는 자신이 어디에 있는지, 혹은 누가 연관되어 있는지 모릅니다. 그저 지금 당장 측정기에 담긴 물의 양과 지난 며 most 며칠간의 수치만을 봅니다.

이 논문은 묻습니다: 누가 폭풍을 더 잘 예측하는가?

충격적인 답은 이렇습니다: 단순한 강우량계가 승리합니다. 초지능형 예보관은 처참하게 실패합니다. 하지만 그것은 예보관이 "멍청해서"가 아닙니다. 편향된 뉴스 식단으로 학습되었기 때문에 실패하는 것입니다.

문제점: "뉴스 식단"의 편향성

연구진은 2020년에서 2026년 사이에 분쟁이 발생한 22곳의 서로 다른 지역을 조사했습니다. 그들은 각 지역에서 실제로 얼마나 많은 전투가 일어났는지와 비교하여, 영어권 뉴스가 해당 지역을 얼마나 많이 다루었는지를 측정했습니다.

• "VIP" 구역: 이스라엘이나 우크라이나 같은 곳은 엄청난 주목을 받습니다. 단 한 번의 전투당 수십 개의 뉴스 기사가 쏟아집니다.
• "잊혀진" 구역: 미얀마나 콩고민주공화국 같은 곳은 거의 주목을 받지 못합니다. 전투 한 번당 기사가 채 하나도 되지 않을 수도 있습니다.

그 격차: 뉴스 보도량에서 224배의 차이가 발생합니다. 가장 많이 보도된 곳은 가장 적게 보도된 곳보다 전투당 224배 더 많은 뉴스를 보유하고 있습니다.

LLM은 이 영어 뉴스들을 학습하기 때문에, 이들의 "정신적 지도"는 완전히 왜곡되어 있습니다. 이들은 VIP 구역에 대해서는 아주 잘 알지만, 잊혀진 구역에 대해서는 거의 아무것도 모릅니다.

실험: 다음 전투를 추측하라

연구진은 두 유명한 AI 모델(Llama-3.3 및 GPT-4o)에게 다음 달에 폭력이 악화될지 여부를 예측하도록 요청했습니다. 연구진은 AI에게 데이터를 전혀 주지 않았습니다 — 오직 국가 이름과 날짜만 제공했습니다. 이것을 "제로샷(zero-shot)" 테스트라고 하며, 이는 AI가 학습 과정에서 암기한 것에만 의존해야 함을 의미합니다.

연구진은 AI를 다음 두 가지와 비교했습니다:

1. "무조건 예(Yes)" 베이스라인: 모든 국가에 대해 그냥 "예, 악화될 것입니다"라고 답하는 사람.
2. "단순 수학" 베이스라인: 국가 이름을 완전히 무시하고, 지난 몇 주간의 전투 숫자만을 살펴보는 컴퓨터 프로그램.

결과: AI는 틀에 박힌 행동을 보였다

결과는 AI가 어떤 곳에서는 "괜찮고", 어떤 곳에서는 "훌륭한" 식의 매끄러운 변화를 보이는 형태가 아니었습니다. 대신, AI는 두 가지 뚜렷하고 이상한 행동 패턴으로 갈라졌습니다.

1. "비상벨" AI (Llama)

• 실패한 지점: 잊혀진 구역 (노출이 적은 곳).
• 행동: 모든 경우에 대해 "예, 폭력이 악파될 것입니다"라고 예측했습니다.
• 비유: 특정 동네를 본 적이 없는 보안 요원을 상상해 보세요. 그는 "그 동네는 원래 나쁜 일이 일어나는 곳이다"라는 소문을 들었기 때문에, 길을 지나가는 모든 사람을 보고 "경보!"를 울립니다. 그는 모든 사람에게 "경보"를 울리는 것입니다.
• 결과: 그는 모든 실제 비상 상황을 잡아냈지만(재현율 100%), 무고한 사람들에게도 경보를 울렸습니다. 그의 성능은 "무조건 예"라고 답하는 사람과 동일했습니다. 그는 예보를 한 것이 아니라, 단순히 그 국가를 "혼란스러운 곳"으로 분류한 것에 불과했습니다.

2. "부정" AI (GPT-4o)

• 실패한 지점: VIP 구역 (노출이 많은 곳).
• 행동: 실제 전투가 급증할 때조차도 모든 경우에 대해 "아니요, 폭력이 악화되지 않을 것입니다"라고 예측했습니다.
• 비유: 10년 동안 같은 폭풍을 지켜본 기상 예보관을 상상해 보세요. 그는 "우린 이미 이런 걸 봤어, 이건 그냥 배경 소음일 뿐이야"라고 생각합니다. 그는 바람이 거세지는 것을 무시하고 "괜찮다"라고 말합니다.
• 결과: 그는 모든 실제 악화 상황을 놓쳤습니다(재현율 0%). 그는 자신의 "세계 지식"을 너무 확신한 나머지 실제 위험을 무시했습니다.

반전: AI에게 더 많은 데이터를 주자 오히려 더 나빠졌다

연구진은 "AI에게 정보가 부족한 것 아닐까?"라고 생각했습니다. 그래서 그들은 AI에게 지난 3개월간의 실제 전투 횟수(구조화된 증거)가 담긴 성적표를 주었습니다.

• 어떤 일이 벌어졌나? AI는 더 나빠졌습니다.
• 왜인가? AI는 숫자를 읽으려고 시도했지만, 그들의 "두뇌"는 여전히 예전 습관에 갇혀 있었습니다.
  • 잊혀진 구역에서, 숫자를 보는 것은 "비상벨" AI를 혼란스럽게 만들어 정확도를 떨어뜨렸습니다.
  • VIP 구역에서, "부정" AI는 여 still 숫자를 믿기를 거부했습니다.
• 승자: 단순 수학 베이스라인(강우량계)이 여전히 승리했습니다. 이 프로그램은 국가 이름이나 뉴스 보도량에 신경 쓰지 않았습니다. 그저 숫자를 보았습니다: "물의 수위가 올라갔다면, 폭풍은 악화되고 있는 것이다." 이 프로그램은 AI보다 2.4배 더 자주 정답을 맞혔습니다.

결론: 데이터의 문제가 아니라 편향의 문제다

이 논문은 문제가 AI가 데이터가 부족해서가 아니라고 결론짓습니다. 문제는 AI가 국가가 어디냐에 따라 데이터를 어떻게 해석하느냐입니다.

• 잊혀진 곳에 대해: AI는 혼란을 기본 상태(default)로 가정합니다.
• VIP 구역에 대해: AI는 안정을 기본 상태로 가정합니다.

AI는 "예보"(신호를 바탕으로 미래를 예측하는 것)를 하는 것이 아니라, "분류"(학습 데이터에 기반해 국가를 라벨링하는 것)를 하고 있습니다.

현실 세계를 위한 시사점

만약 당신이 잊혀진 분쟁 지역에서 생명을 구하기 위해 AI를 사용하려는 인도주의 활동가라면:

1. AI의 '직감'을 믿지 마세요. AI는 아마도 모든 것에 대해 "예, 상황이 나쁩니다"라고 답할 것이며, 이는 쓸모가 없습니다.
2. 더 많은 뉴스 기사를 준다고 해서 도움이 될 것이라 가정하지 마세요. 그것은 오히려 AI를 혼란스럽게 만들 수 있습니다.
3. 단순한 도구가 더 효과적입니다. 최근 사건의 숫자만을 추적하는 기본적인 시스템이, 인터넷 전체를 읽은 초지능형 AI보다 훨씬 더 신뢰할 수 있습니다.

이 논문은 AI를 테스트하는 새로운 방식을 요구합니다. 우리는 단순히 "AI가 똑똑한가?"라고 물어서는 안 됩니다. 우리는 **"이 AI가 '이 특정 국가'에 대해서도 똑똑한가?"**를 물어야 합니다. 왜냐로 현재의 AI는 어떤 곳에는 똑똑하지만, 어떤 곳에는 눈이 멀어 있기 때문입니다.