⚡ 전기공학

Do AI dream of P and S picks? Multimodal LLMs applied to visual seismological analysis

본 연구는 전문가의 휴리스틱을 패턴 인식에 복제하는 새로운 포비에이티드 비전(foveated vision) 프레임워크와 프롬프트 시스템을 도입함으로써 시각적 지진 분석에 멀티모달 시각-언어 모델을 적용하는 것의 타당성을 입증하며, 형태학적 기권 프로토콜(morphological abstention protocol)을 통해 결정적인 실패 모드를 해결함으로써 궁극적으로 지구과학 분야에서의 투명하고 주권적인 로컬 AI 배포를 가능하게 한다.

원저자: Raffaele Di Stefano, Valentino Lauciani, Fabrizio Bernardi, Daniele Bailo, Maddalena Michele, Maria Grazia Ciaccio, Simone Marzorati

게시일 2026-09-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Raffaele Di Stefano, Valentino Lauciani, Fabrizio Bernardi, Daniele Bailo, Maddalena Michele, Maria Grazia Ciaccio, Simone Marzorati

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

지진학 연구실의 고요한 웅성거림 속에서, 지진을 찾아내는 작업은 하나의 '봄(look)'으로부터 시작됩니다. 땅이 흔들리면 센서는 그 움직임을 그래프 위의 구불구불한 선으로 기록하는데, 이는 지구를 통과하는 에너지의 시각적 이야기입니다. 수십 년 동안 전문가들은 이 선들을 눈으로 직접 관찰하며 연구해 왔습니다. 파동이 시작되는 정확한 순간을 찾아내는 이 기술은 패턴을 인식하고, 신호의 형태를 주변의 노이즈와 비교하며, 전체 기록의 맥락을 이해하는 능력에 의존합니다. 이러한 시각적 직관은 컴퓨터에게 가르치기 어려운 데, 전통적으로 컴퓨터는 데이터를 단지 숫자의 행(row)으로만 인식하기 때문입니다. 현대적인 소프트웨어는 방대한 양의 지진 데이터를 빠르게 처리할 수 있지만, 인간의 뇌가 잡음 속에 숨겨진 희미한 떨림을 포착하는 유연하고 맥락 인식적인 방식을 재현하는 데는 종종 어려움을 겪습니다. 연구자들이 던진 질문은 이미지를 보고 텍스트를 동시에 읽을 수 있는 새로운 종류의 인공지능이, 인간 전문가처럼 이 그래프들을 바라보는 법을 배울 수 있을 것인가 하는 점이었습니다.

이탈리아 국립 지질물리학 및 화산학 연구소(Istituto Nazionale di Geofisica e Vulcanologia)의 과학자 팀은 멀티모달 인공지능에게 지진학자처럼 행동하도록 가르침으로써 이 질문에 답하고자 했습니다. 그들은 단순히 컴퓨터에 가공되지 않은 숫자 데이터를 입력한 것이 아니라, 인간 분석가가 그러하듯 지진파의 사진을 보여주었습니다. 연구진은 인간의 눈이 초점을 맞추는 방식을 모방한 시스템을 구축했습니다. 먼저, AI는 파동이 어디에 있을지 대략적인 감을 잡기 위해 전체 기록의 넓은 뷰(wide view)를 살펴봅니다. 그다음, 특정 영역을 확대하여 세부 사항을 정밀하게 파악함으로써 파동이 시작된 정확한 순간을 찾아냅니다. 연구팀이 '적응형 포비에이티드 워크플로우(adaptive foveated workflow)'라고 부르는 이 과정은, 마치 사람이 작은 라벨을 읽기 위해 지도를 뚫어지게 쳐다보는 것처럼, 모델이 광범위한 개요에서 미시적인 검사로 주의를 전환할 수 있게 해줍니다.

결과는 이러한 시각적 접근 방식이 놀라울 정도로 효과적임을 보여주었습니다. AI가 지진 데이터의 전체적인 넓은 뷰를 조사했을 때는 파동의 시작을 어느 정도 정확하게 식별할 수 있었지만, 정밀한 밀리초 단위의 타이밍은 놓치는 경우가 많았습니다. 그러나 시스템이 관심 있는 특정 순간을 확대했을 때, 정확도는 극적으로 향고되었습니다. 모델은 P파(primary wave)의 날카롭고 갑작스러운 시작을 배경 소음으로부터 구분해 내는 능력을 학습했으며, 그 정밀도는 인간 전문가와 일치했습니다. 수십 개의 기록 스테이션과 다양한 규모의 지진을 포함한 테스트에서, 이 시스템은 파동의 도착 시간을 1초 미만의 오차 범위 내에서 성공적으로 식별해 냈습니다. 연구진은 모델의 지능만큼이나 이미지의 품질이 중요하다는 것을 발견했습니다. 압축되지 않은 깨끗한 파동 이미지를 사용하는 것이 흐릿하거나 압축된 버전에서는 손실되었던 미세한 디테일을 AI가 볼 수 있게 해주었습니다.

이러한 성공에도 불구하고, 연구진은 이러한 인공 지능들이 작동하는 방식에서 중대한 결함을 발견했습니다. AI는 데이터가 명확한 답을 제공하기에 너무 지저분할 때조차도 지시를 따르려는 강한 경향이 있습니다. 만약 파동을 찾으라는 요청을 받으면, 모델은 그래프에 노이즈만 존재하더라도 요청을 충족시키기 위해 임의의 시간과 위치를 만들어내기도 합니다. 연구팀이 '순응 편향(compliance bias)'이라고 부르는 이 행동은, 시스템이 가짜 지진을 자신 있게 보고하게 만들 수 있음을 의미했습니다. 이를 해결하기 위해 과학자들은 AI를 위한 새로운 안전 규칙인 '항복 조항(surrender clause)'을 제안했습니다. 이 규칙은 모델에게 파동을 명확히 볼 수 없을 때는 억지로 추측하는 대신, 보이지 않는다고 인정하고 멈추도록 지시합니다. AI가 신호가 손상되었을 때 "모르겠다"라고 말할 수 있게 함으로써, 시스템은 실제 모니터링 환경에서 더 신뢰할 수 있고 안전해집니다.

또한 연구진은 이 시스템을 강력한 상용 클라우드 서버에서 실행하는 것과 로컬의 오픈 소스 컴퓨터에서 실행하는 것을 비교했습니다. 클라우드 버전은 고해 resolution 이미지를 디테일 손실 없이 처리할 수 있었기에 더 나은 성능을 보였습니다. 로컬 버전은 그래프의 미세한 선들을 흐릿하게 만드는 경우가 많아 파동의 정확한 시작을 포착하는 데 더 큰 어려움을 겪었습니다. 이 결과는 이러한 고급 도구들을 로컬 머신에서 실행하는 것이 가능할지라도, 시각적 입력의 품질이 매우 결정적이라는 점을 시사합니다. 연구진은 이 기술이 과학 분야에서 진정으로 유용해지려면, 인간과 마찬가지로 데이터를 명확하게 볼 수 있어야 하며, 데이터가 신뢰하기에 너무 형편없을 때는 이를 알아차릴 만큼 똑똑해야 한다고 결론지었습니다.

궁극적으로 이 연구는 인공지능이 단순히 숫자를 계산하는 것을 넘어, 패턴을 '봄으로써' 복잡한 과학적 그래픽을 해석하는 법을 배울 수 있음을 보여줍니다. 이 시스템은 인간 전문가를 대체하는 것이 아니라, 인간이 사용하는 것과 동일한 시각적 논리를 사용하여 수천 개의 기록을 스캔할 수 있는 강력한 조수 역할을 합니다. 줌인(zooming) 시각 전략과 추측을 방지하는 엄격한 규칙을 결합함으로써, 연구진은 새로운 형태의 지진 모니터링을 위한 개념 증명(proof-of-concept)을 만들어냈습니다. 이는 기계가 단순히 보는 법뿐만 아니라, 언제 멈춰야 하는지도 배운다면, 과학자들이 지구의 움직임을 더 빠르고 투명하게 이해할 수 있도록 돕는 미래를 향한 한 걸음입니다.

기술 요약: 시각적 지진 분석에 적용된 멀티모달 LLM

1. 문제 정의

기존의 딥러닝 파이프라인은 고처리량 수치 분석에는 효율적이지만, 인간 지진학자가 가진 맥락적 시각 추론 능력을 재현하는 데는 종종 실패한다. P파 및 S파의 온셋(onset)을 식별하는 것은 단순한 수치 계산이 아니라, 시공간적 맥락, 노이즈 억제, 기하학적 패턴 인식에 의존하는 비교적이고 시각적인 과정이다. 현재의 자동화된 방법들은 복잡한 지각 과업을 경직된 행렬로 축소하는 경향이 있으며, 다양한 신호 대 잡음비(SNR)와 감쇠된 파형을 처리하는 데 필요한 "시각적-인지적" 유연성이 부족하다. 또한, 표준 비전-언어 모델(VLM)은 지진계 데이터에 적용될 때 과도한 텍스트로 인한 어텐션 포화(attention saturation), 고주파 신호 특징을 저하시키는 해상도 불일치, 그리고 시각적 증거가 불충분함에도 불구하고 모델이 추측성 수치를 생성해내는 "순응 편향(compliance bias)"과 같은 특정 병목 현상에 직면한다.

2. 방법론

본 연구는 전문가의 시각적 검사를 모사하기 위해 멀티모달 거대 언어 모델(VLM)을 활용하는 개념 증명 프레임워크인 SAIAN(Seismological AI ANalysis)을 소개한다. 이 방법론은 세 가지 핵심 축을 기반으로 구축되었다.

A. 적응형 포비에이티드 비전 프레임워크 (Adaptive Foveated Vision Framework)

고정된 $16 \times 16$ 픽셀 패치로 이미지를 처리하는 표준 비전 트랜스포머(ViT)의 해상도 한계를 극복하기 위해, 저자들은 다단계 "훑어보기 및 집중(glance-and-focus)" 워크플로우를 구현하였다.

1단계 (전역 개요): 모델은 세 성분(Z, N, E) 파형을 포함하는 고해상도 무손실 PNG 캔버스를 분석한다. 이는 후보 도착 시간을 식선별하기 위한 전체적인 관점을 제공한다.
2단계 (적응형 줌): 1단계 출력에 따라, 파이썬 오케스트레이터는 후보 타임스탬프 주변의 원시 NumPy 배열을 동적으로 크롭(crop)한다. 이 좁은 창(window)들은 동일한 고정 이미지 캔버스 차원으로 재투영되어, 픽셀 당 초당 밀도를 효과적으로 높인다. 이는 ViT의 어텐션 메커니즘이 파형 돌파(breakout)의 미세 구조에 집중하도록 강제한다.
StageMax (복합 정밀화): 모든 스테이션에 균일한 3단계를 적용하는 대신, 2단계 잔차(residual)가 $\ge 0.2$ s인 스테이션에 대해서만 초정밀 줌(3단계, $\pm 0.4$ s 창)을 선택적으로 적용하였다. 이 "StageMax" 티어는 가장 높은 해상도를 나타내며, 표적화된 초정밀 줌과 표준 2단계 컨텍스트 출력을 결합하여 필요한 곳에서 밀리초 단위의 정밀도를 달 수 있게 한다.

B. 입력 충실도 및 포맷 최적화

본 연구는 VLM 인입에 있어 PNG(무손실 DEFLATE)가 가장 우수한 포맷임을 엄격히 평가하였다.

JPEG는 패치 임베딩을 손상시키는 링잉(ringing) 및 블로킹(blocking) 아티팩트를 유발한다.
PDF/SVG는 서버 측 다운샘플링이나 방대한 토큰 수로 인한 컨텍스트 윈도우 포화를 겪는다.
PNG는 비트 단위의 기하학적 충실도를 보존하여, 모델의 셀프 어텐션 메커니즘이 압축 노이즈가 아닌 물리적 신호 특징 위에서 가중치를 계산할 수 있도록 보장한다 прави.

C. 프롬프트 엔지니어링 및 인지적 오프로딩 (Cognitive Offloading)

어텐션 포화와 "순응 편향"(모델이 불확실할 때도 억지로 답을 내놓으려는 경향)을 완화하기 위해 저자들은 다음을 채택하였다:

인지적 오프로딩: 시스템 프롬프트에서 밀집된 이론적 문헌을 제거하여 시각적 토큰을 위한 컨텍스트 윈도우를 확보한다.
마크다운 스캐폴딩(Markdown Scaffolding): 구조적 헤더와 굵은 글씨 구문을 사용하여 중요한 운영 지침에 주의를 고정시킨다.
형태학적 절제 프로토콜 (제안됨): 모델의 질적 진단과 양적 출력 사이의 괴리를 해결하기 위해, 저자들은 개념적인 2단계 프레임워크를 제안한다. 여기에는 파형이 필터링 불가능한 오염을 보이는 경우 모델이 수치 파라미터를 null로 설정하도록 지시하는 "항복 조항(Surrender Clause)"이 포함된다. 논문은 이 폐쇄 루프 절제 프로토콜의 완전한 운영 통합 및 검증은 향촉 과제로 지정되어 있다고 명시한다.

3. 주요 결과

본 프레임워크는 이탈리아 국가 네트워크의 11개 국지 지진(규모 2.0–3.1)을 대상으로 벤치마크를 수행하여, AI 피킹(pick)을 전문가의 수동 피킹과 비교하였다.

줌을 통한 성능 수렴

1단계 (전역): 공간 압축으로 인해 고정밀 피킹( $\le \pm 0.10$ s)이 제한적이었다 (P파 17.8%, S파 12.6%).
2단계 (줌): 고정밀 정확도가 P파의 경우 두 배 이상(40.4%), S파의 경우 세 배 이상(41.0%) 증가하였다. 거친 시간적 이상치( $> 0.50$ s)는 절반 이하로 감소했다.
StageMax (복합): 잔차가 높은 스테이션에 초정밀 줌을 선택적으로 적용함으로써, $\le \pm 0.10$ s 범위 내 P파 정확도는 **67.6%**에 도달했으며, **42.9%**는 50 ms 미만의 정밀도를 달성했다. S파 정확도는 $\le \pm 0.10$ s 내에서 **52.9%**에 도달했다.
거리 독립성: 포비에이티드 줌은 지각 감쇠로 인해 위상 온셋이 뭉개지는 현상이 발생하는 원거리(60–100 km)에서도 성능 저하를 성공적으로 상쇄하였다.

자동화 vs. 대화형 성능

API 실행: Google Gemini 1.6 Flash를 통한 직접 API 호출이 웹 인터페이스(WebUI)보다 우수한 성능을 보였다. 이는 클라이언트 측 브라우저 다운샘플링 및 손실 압축을 우회하여, 비전 인코더에 순수한 PNG 래스터를 직접 전달했기 때문이다.
로컬 배포: 로컬 오픈 웨이트 모델(Ollama를 통한 Gemma)은 고정 해상도 다운샘플링 및 가중치 양자화로 인해 현저히 낮은 성능을 보였으며, 이는 현재 상용 클라우드 비전 인코더와 로컬 오픈 소스 대안 사이의 격차를 보여준다.

운영적 견고성

자동화된 M2M(Machine-to-Machine) 오케스트레이터는 91개 스테이션을 2시간 이내에 처리하였으며, 프로토콜 위반율은 2.7%로 낮았다. 시스템은 JSON 스키마 검증에 실패한 특정 스테이션에 대한 정밀화 루프를 중단하면서도 나머지 네트워크를 계속 처리하는 "우아한 성능 저하(graceful degradation)"를 보여주었다.

4. 의의 및 주장

본 논문은 멀티모달 생성형 AI가 경직된 수치 처리를 넘어 유연하고 맥락 인식적인 해석을 통해 전문가의 시각적 휴리스틱을 재현할 수 있음을 보여주는 개념 증명으로서 이 작업을 위치시킨다.

시각적 이점: 본 연구는 정확도의 주요 동력이 막대한 계산 오버헤드가 아니라, (무손실 PNG와 같은) 시각적 입력의 구조적 정렬과 적응형 스케일링(포비에이티드 줌)이 모델의 어텐션 메커니즘과 일치하는 것임을 주장한다.
과학적 주권: 본 연구는 지질 과학 분야에서 로컬 AI 배포의 타당성을 확립하며, 동적 고해상도 타일링을 지원하는 발전된 로컬 비전 인코더가 제공된다는 전제하에 투명하고 재현 가능하며 제도적 주권을 가진 AI 생태계의 기초를 마련한다.
행동 정렬: 저자들은 현재의 VLM이 과학적 과업에서 보이는 "순응 편향"을 중요한 실패 모드로 식별한다. 따라서 향후 운영 파이프라인은 시각적 증거가 모호할 때 모델이 허위 양성 수치 데이터를 생성하는 것을 방지하기 위해 형태학적 절제 프로토콜을 통합해야 한다고 제안하지만, 완전한 구현은 향후 연구 과제로 남아 있다.

결론적으로, 본 논문은 현재 시스템이 완전한 자율성을 위해 인간의 검증이나 특정 가드레일을 필요로 하지만, "적응형 포비에이티드 루프"가 인간의 시각적 전문성과 기계 추론 사이의 간극을 성공적으로 메워 자동화된 지진 위상 피킹의 새로운 패러다임을 제시한다고 밝히고 있다.