폭풍을 예측하려고 한다고 상상해 보십시오. 옛날 방식이라면, 어제 찍은 하늘 사진을 보거나 비가 이미 그친 후에 전문가가 그린 지도를 보았을 것입니다. 이는 마치 영화의 마지막 부분에서 흐릿한 프레임 한 장을 보고 영화의 줄거리를 추측하려는 것과 같습니다. 하지만 만약 당신이 폭풍이 실제로 일어나는 과정을 분 단위로 목격하고, 실시간으로 기온이 떨어지고 습도가 올라가는 것을 느낄 수 있다면 어떨까요? 이것이 바로 인공위성을 통해 지구를 관찰하는 **지구 관측(Earth Observation)**의 세계입니다. 최근에는 이러한 위성 영상을 보고 이에 대해 대화할 수 있도록 훈련된 **멀티모달 거대 언로 모델(Multimodal Large Language Model, MLLM)**이라는 새로운 유형의 컴퓨터 두뇌가 등장했습니다. 이들은 마치 자신이 보고 있는 것을 설명해 주는 아주 똑똑한 조수처럼 행동합니다. 모두가 던지는 핵심적인 질문은 이것입니다. 이 AI 조수들이 실제로 재난이 발생하기 전에 이를 막는 데 도움을 줄 수 있을까요, 아니면 단지 피해가 발생한 후에 사진을 묘사하는 데만 능숙한 것일까요?

이것이 바로 Obshazard-bench라는 논문이 조사하고 있는 내용입니다. 저자들은 이 AI 모델들이 실제 현실의 재난 상황을 처리할 수 있는지 확인하기 위해 완전히 새로운 형태의 "시험"을 구축했습니다. AI에게 홍수에 대해 잘 정돈되고 전문가가 만든 깔ian한 지도를 주는 대신, 위성이 실제로 전송하는 가공되지 않은 빠르고 무질서한 데이터 스트림—예를 들어 대기 중의 온도와 습도에 대한 가공되지 않은 수치들—을 입력값으로 주었습니다. 연구진은 이 AI를 62개국에서 발생한 127건의 실제 역사적 재난(지진부터 폭염까지 포함)을 대상으로 테스트했습니다. 결과는 다소 냉혹한 현실을 보여주었습니다. 가장 똑똑한 AI 모델들조차 고전했기 때문입니다. 모델들은 재난이 일어나기 전 무엇이 일어날지 예측하는 데는 어느 정도 능숙했지만, 재난이 진행되는 동안 실시간으로 어떻게 변화하는지를 추적하거나 정확히 얼마나 많은 사람들이 피해를 입을지 파악하는 데는 매우 혼란스러워했습니다. 이 논문은 이러한 AI 도구들이 강력하기는 하지만, 아직 재난을 구하는 유일한 영웅이 될 준비는 되지 않았음을 시사합니다. 즉, 빠르게 움직이고 혼란스러운 실제 재난의 특성을 이해하기 위해서는 더 많은 훈련이 필요하다는 것입니다.

거시적 관점: 왜 더 나은 "기상 감시 눈"이 필요한가

이 논문이 왜 중요한지 이해하려면, 우리가 보통 재난을 어떻게 연구하는지 살펴봐야 합니다. 현재 대부분의 지구 데이터를 분석하는 컴퓨터 프로그램은 완성된 그림을 보는 미술 비평가와 같습니다. 그들은 재난이 끝날 때까지 기다렸다가, 전문가가 정교하게 처리한 피해 사진을 보고 나서야 "아, 네, 이것은 홍수였군요"라고 말합니다. 이는 역사책을 기록하는 데는 유용하지만, 응급실에서는 최악의 방식입니다. 허리케인이 형성되고 있을 때, 전문가가 데이터를 정리하고 지도를 그릴 때까지 기다릴 시간은 없습니다. 당신은 지금 당장 폭풍이 강해지고 있는지, 어디로 향하고 있는지, 그리고 얼마나 심각할지를 알아야 합니다.

이 논문은 AI를 테스트하는 새로운 방법인 Obshazard-bench를 소개합니다. 이것을 AI를 위한 "실전 훈련"이라고 생각하십시오. 연구진은 AI에게 다듬어진 사진을 보여주는 대신, 위성으로부터 오는 가공되지 않은 필터링 없는 데이터 스트림을 제공했습니다. 이 위성들에는 대기의 온도를 다양한 높이에서 듣는 의사의 청진기 역할을 하는 특수 센서(AMSU-A, HIRS, MHS로 명명됨)가 탑재되어 있습니다. AI는 이 가공되지 않은 지구의 "심장 박동"을 들으며, 재난이 전개되는 동안 무엇이 잘못되었는지 파악해야 합니다.

3단계 테스트: 전, 중, 후

연구진은 단순히 AI에게 하나의 간단한 질문을 던진 것이 아닙니다. 그들은 실제 비상 대응팀이 작동하는 방식을 모방한 세 부분으로 구성된 테스트를 설계했습니다.

1. 예측적 위기 예견 (수정구슬 단계): 이것은 "전" 단계입니다. AI는 재난이 시작되기 며칠 전의 가공되지 않은 데이터를 살펴봅니다. 경고 징후를 포착할 수 있을까요? "이봐요, 3일 뒤에 홍수가 올 거예요"라고 말할 수 있을까요?
2. 능동적 진화 추론 (추적 단계): 이것은 "중" 단계입니다. 재난이 지금 일어나고 있습니다. AI는 데이터 스트림을 지켜보며 폭풍이 언제 멈출지, 혹은 어떻게 변하고 있는지를 추측해야 합니다. 이는 마치 롤러코스터를 타고 있는 동안 그 놀이기구가 언제 끝날지 예측하려는 것과 같습니다.
3. 다각적 영향 정량화 (계산기 단계): 이것은 "후" 단계입니다. AI는 물리적 데이터를 보고 인간의 피해를 추측해야 합니다. 얼마나 많은 사람이 집을 잃을까요? 경제적 손실은 얼마나 될까요? 이는 하늘에서 내려오는 차갑고 딱딱한 숫자들을 인간 삶의 복잡한 현실과 연결해야 하기에 가장 어려운 부분입니다.

결과: AI는 똑똑하지만, 최전선에 서기에는 아직 부족하다

연구진이 최고 수준의 AI 모델들(GPT-5.5, Claude Opus 등)을 이 테스트에 투입했을 때, 결과는 엇갈렸으나 실제 비상 상황 사용 측면에서는 대체로 실망스러웠습니다.

• 긍정적인 소식: AI 모델들은 "수정구슬" 단계에서 꽤 괜찮은 모습을 보였습니다. 모델들은 폭풍이 오기 며칠 전의 가공되지 않은 데이터를 보고 재난이 닥칠 것임을 종종 정확히 맞혔습니다. 특히 폭풍과 산불을 포착하는 데 뛰어났습니다.
• 부정적인 소식: 모델들은 "추적" 단계에서 무너졌습니다. 재난이 정확히 언제 끝날지, 혹은 실시간으로 어떻게 진화하고 있는지를 묻는 질문에 대해 점수가 거의 0점에 가까울 정도로 급락했습니다. 이는 마치 폭풍이 오는 것은 볼 수 있지만, 일단 폭풍이 시작되면 그것이 얼마나 오래 지속될지에 대해서는 혼란에 빠지는 것과 같습니다.
• 까다로운 부분: "계산기" 단계(사망자 수나 경제적 손실 추측)에 있어서는 더 많은 데이터를 본다고 해서 모델들의 성능이 크게 좋아지지 않았습니다. 이는 인간의 고통을 예측하기 위해서는 단순히 위성 숫자만으로는 부족하며, 해당 지역에 얼마나 많은 사람이 사는지 또는 기반 시설이 얼마나 취약한지와 같은, 가공되지 않은 위성 데이터가 직접적으로 보여주지 못하는 것들을 이해해야 함을 시사합니다.

이것이 미래에 의미하는 바

이 논문은 이러한 AI 모델들이 인상적이기는 하지만, 아직 도시를 재난으로부터 구하는 "자율적인 영웅"이 될 준비는 되지 않았다고 결론짓습니다. 현재 이들은 의사 결정 지원 도구로서 더 적합합니다. 비행기를 조종하는 조종사를 상상해 보십시오. AI는 "이봐요, 앞에 폭풍이 있어요"라고 말해주는 부조종사가 될 수 있지만, 착륙할지 아니면 경로를 변경할지에 대한 최종 결정은 여전히 인간 조종사가 내려야 합니다.

연구진은 질문을 던지는 '시기'에 따라 AI의 성능이 달라진다는 것을 발견했습니다. 예를 들어, 폭풍 3일 전에 예측을 받는 것이 14일 전에 받는 것보다 종종 더 정확했습니다. 하지만 이것이 모든 모델에 동일하게 적용되지는 않았습니다. 이는 우리가 모든 것을 수행하는 단 하나의 AI에만 의존할 수는 없음을 알려줍니다. 대신, 미래의 재난 시스템은 전문화된 AI 팀을 필요로 할 수 있습니다. 즉, 조기 경보에 뛰어난 AI, 사건을 추적하는 데 능숙한 AI, 그리고 영향을 계산하는 데 도움을 주는 AI가 각각 따로 존재해야 한다는 것입니다.

요약하자면, Obshazard-bench는 하나의 경종을 울립니다. 재난 상황에서 생명을 구하기 위해 진정으로 AI를 활용하려면, 우리는 AI에게 다듬어지고 완벽한 사진을 보여주는 것을 멈추고, 우리 지구의 가공되지 않은, 혼란스럽고 실시간적인 데이터를 이해하도록 가르치기 시작해야 합니다. 기술은 발전하고 있지만, AI가 홍수가 정확히 언제 멈출지, 혹은 얼마나 많은 사람에게 도움이 필요한지를 신뢰성 있게 말해줄 수 있을 때까지는 아직 갈 길이 멉니다.