🤖 machine learning

Faithful Embeddings of Irregular and Asynchronous Data for Online Log-NCDEs

본 논문은 보간 없이 데이터 증분으로부터 로그-시그니처를 직접 구성하여 불규칙하고 비동기적인 시계열 데이터의 정확하고 효율적이며 견고한 온라인 모델링을 가능하게 하는 로그-NCDE 를 위한 연속적이고 단사적인 임베딩 방법을 제안한다.

원저자: Benjamin Walker, Alexandre Bloch, Lingyi Yang, Sam Morley, Terry Lyons

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Benjamin Walker, Alexandre Bloch, Lingyi Yang, Sam Morley, Terry Lyons

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 쉬운 언어와 일상적인 비유를 사용하여 설명합니다.

큰 문제: 빈칸을 채우려는 시도

이야기를 이해하려고 하지만, 손에 있는 페이지는 찢어지고, 누락되었으며, 무작위 순서로 도착했다고 상상해 보세요. 때로는 온전한 페이지를 받지만, 다른 때는 문장 하나만 받기도 합니다.

대부분의 컴퓨터 모델 (AI 채팅 봇이나 주가 예측을 구동하는 모델 등) 은 페이지가 완벽하게 순서대로, 하나씩 이어지며 간격 없이 도착하는 이야기를 읽도록 설계되었습니다. scientists 는 이러한 모델에 맞도록 불규칙하고 지저분한 데이터를 맞추기 위해 보통 "빈칸을 채우는" 작업을 합니다. 그들이 가진 페이지 사이의 일을 추측하는 것입니다.

보간 (Interpolation): 두 점 사이에 매끄러운 선을 그리는 것.
추정 (Imputation): 주변 숫자들을 바탕으로 누락된 숫자를 추측하는 것.

논문의 비판: 저자들은 이러한 "추측"이 위험하다고 주장합니다. 두 데이터 포인트 사이에 매끄러운 선을 그리면, 실제로 일어난 적이 없는 이야기를 만들어낼 수 있습니다. 컴퓨터에 가짜 정보를 공급하는 것이므로 나쁜 결정으로 이어질 수 있습니다.

해결책: "신실한" 메신저

빈칸 사이에서 일어난 일을 추측하는 대신, 저자들은 데이터를 컴퓨터로 전송하는 새로운 방식을 제안합니다. 이를 **"신실한 임베딩 (Faithful Embedding)"**이라고 부릅니다.

이는 본인이 본 것 외에는 아무것도 보고하지 않는 메신저 서비스와 같습니다.

옛 방식 (보간): 메신저는 "1 시에 당신을 보았고, 2 시에 당신을 보았으니, 그 사이를 직선으로 걸었다고 가정합니다"라고 말합니다. (이는 틀릴 수 있습니다. 아마도 당신은 뛰거나, 멈추거나, 가게에 갔을지도 모릅니다).
새로운 방식 (신실한): 메신저는 "1 시에 당신을 보았습니다. 그리고 2 시에 다시 당신을 보았습니다. 이 두 시간 사이의 당신의 위치 변화가 여기 있습니다"라고 말합니다.

컴퓨터는 그 사이 당신이 어떻게 움직였는지 알 필요가 없습니다. 시작, 종료, 그리고 변화만 알면 됩니다. 이렇게 하면 데이터가 현실에 "신실하게" 유지됩니다.

작동 원리: "로그-서명 (Log-Signature)" 레시피

이 논문은 Log-NCDE(Neural Controlled Differential Equation) 라는 특정 수학적 도구를 소개합니다. 지저분한 데이터로 이를 작동시키기 위해, 그들은 관찰 결과를 수학으로 변환하는 특별한 레시피를 만들었습니다.

무작위 시간에 텍스트 메시지를 받지만, 숲속을 걷는 등산객의 여정을 추적한다고 상상해 보세요.

증분 (The Increment): "어디에 있나요?"라고 묻는 대신, 시스템은 "마지막 메시지 이후로 얼마나 이동했나요?"와 "어느 방향인가요?"라고 묻습니다.
계수 (The Count): 또한 "이봐요, 방금 메시지가 도착했어요!"라고 기록합니다. 이는 매우 중요합니다. 등산객이 가만히 서서 "여기 있어요"라는 메시지를 보내는 것과, 아예 메시지를 보내지 않는 것은 다르기 때문입니다. 시스템은 이러한 사건들을 세어 놓치지 않도록 합니다.
"로그 - 서명" (The Log-Signature): 이것이 마법의 소스입니다. 여정의 전체 덩어리 (구간) 를 단일하고 간결한 "지문"으로 요약하는 방법입니다.
- 등산객이 취한 모든 단일 단계를 보는 대신, 시스템은 특정 시간 블록 동안의 총 변화를 봅니다.
- 거리뿐만 아니라 비틀림과 회전(예: 등산객이 원을 그리며 걸은 경우) 도 포착합니다. 이를 "고차 정보 (higher-order information)"를 포착한다고 합니다.

이것이 게임 체인저인 이유

저자들은 두 가지 주요 사실을 증명합니다.

추측 불필요: 데이터 포인트 사이에 매끄러운 경로를 만들어낼 필요가 없습니다. 변화와 시간 간격을 정확하게 기록하기만 하면, 경로를 추측했을 때와 똑같이 (혹은 더 잘) 학습할 수 있는 똑똑한 컴퓨터 모델을 만들 수 있습니다.
속도와 효율성: 시스템이 시간 덩어리를 이러한 "지문"(로그 - 서명) 으로 요약하기 때문에 데이터를 훨씬 빠르게 처리할 수 있습니다.
- 비유: 1,000 페이지 분량의 책을 읽는 상황을 상상해 보세요.
  - 옛 방식: 이미 알고 있는 단어까지 하나씩 모든 단어를 읽습니다.
  - 새로운 방식: 각 장을 한 문장으로 요약한 후 그 문장들만 읽습니다. 훨씬 빠르게 전체 이야기를 파악할 수 있으며, 책이 쓰이는 동안에도 이를 수행할 수 있습니다 (온라인 계산).

결과: 더 까다로운 데이터, 더 나은 답변

이 팀은 두 가지 유형의 도전 과제에서 이를 테스트했습니다.

합성 데이터 ("가짜" 세계): 데이터가 불규칙하게, 비동기적으로 (다른 채널이 다른 시간에), 그리고 희소하게 (많은 정보 누락) 도착하는 컴퓨터 시뮬레이션을 만들었습니다.
- 결과: 그들의 방법은 견고했습니다. 데이터의 95% 가 누락되었음에도 불구하고 모델은 여전히 잘 작동했습니다. "빈칸 채우기"에 의존한 다른 모델들은 추측이 틀렸기 때문에 처참하게 실패했습니다.
실제 세계 데이터 ("실제" 세계): 심장 박동이나 벌레 움직임과 같은 것을 분류하는 데 사용되는 표준 데이터셋에서 테스트했습니다.
- 결과: 그들의 모델은 더 빨랐습니다 (경우에 따라 최대 3,000 배 빠름) 그리고 더 정확했습니다. 특히 데이터가 지저분하거나 희소할 때 그랬습니다.

결론

이 논문은 지저분한 실제 세계 데이터를 다룰 때 정직함이 최선의 정책이라고 주장합니다. 빈칸 사이에서 일어난 일을 추측하려 하지 마세요. 대신, 본 것을 정확히 기록하고, 얼마나 변했는지, 그리고 언제 일어났는지를 기록하세요. 이러한 정직한 데이터를 포장하기 위해 특별한 수학적 요약 (로그 - 서명) 을 사용하면, 더 빠르고 정확하며 실제 세계의 혼란을 훨씬 잘 처리하는 AI 모델을 구축할 수 있습니다.

기술 요약: 온라인 Log-NCDE 를 위한 불규칙 및 비동기 데이터의 충실한 임베딩

문제 제기

신경 제어 미분 방정식 (NCDE) 및 Log-NCDE 와 같은 연속 시간 머신러닝 모델은 불규칙, 비동기, 희소 시계열 데이터를 처리하는 자연스러운 프레임워크를 제공합니다. 그러나 중요한 설계 병목 현상이 남아 있습니다: 아티팩트를 도입하지 않고 이산 관측치를 연속 시간 경로로 임베딩하는 방법은 무엇인가?

표준 접근법은 모델을 입력하기 전에 연속 관측 경로를 재구성하기 위해 보간 (interpolation) 또는 **추정 (imputation)**에 의존합니다. 논문에서 illustrated 된 바와 같이, 이러한 방법들은 다음과 같은 중대한 단점을 겪습니다:

**추정 (Imputation)**은 실제로 관측된 적이 없는 데이터로 누락된 값을 채웁니다.
**보간 (Interpolation)**은 관측된 데이터 범위를 벗어난 값을 생성하거나 측정치 사이에 인위적인 동역학을 부과할 수 있습니다.
이러한 재구성 단계는 표현에 "관측되지 않은 행동"을 도입하여 모델이 잠재적으로 비현실적인 입력을 소비하도록 강요합니다.

논문에 따르면, 충실한 연속 시간 표현은 실제로 관측된 정보만 보존해야 하며, 관측되지 않은 행동의 재구성은 임베딩 과정이 아닌 모델링 과정 자체에 맡겨야 합니다.

방법론

1. 이론적 기초: 충실한 임베딩

저자들은 **충실한 임베딩 (faithful embedding)**의 개념을 형식화합니다. 데이터 공간 $X$ 와 모델 입력 공간 $P$ 가 하우스도르프 위상 공간이고, 임베딩 $\phi: X \to P$ 가 **연속적이고 단사적 (injective)**일 때, $P$ 의 콤팩트 부분집합에 대한 하위 모델의 보편성 (universality) 이 원래 데이터 공간 $X$ 로 이전된다는 보편성 이전 결과 (Lemma 1) 를 증명합니다.

이는 NCDE 및 Log-NCDE 와 같은 보편적 모델의 경우, 임베딩이 경로를 재구성할 필요가 없으며, 단지 서로 다른 데이터 스트림의 구별 가능성을 보존하는 연속적이고 단사적인 매핑이면 된다는 것을 의미합니다.

2. 제안된 임베딩: Log-NCDE 제어 경로

Morrill 등 [2022] 이 NCDE 를 위해 도입한 직선 제어 경로를 바탕으로, 저자들은 Log-NCDE를 위한 충실한 임베딩을 구체적으로 구성합니다. 점별 제어 경로 값을 사용하는 표준 NCDE 와 달리, Log-NCDE 는 **구간 로그 서명 (interval log-signatures)**을 기반으로 작동합니다.

제안된 임베딩은 다음과 같이 작동합니다:

입력 표현: 입력은 이산 관측치 스트림 $x = ((t_0, s_0, x_0), \dots, (t_n, s_n, x_n))$ 과 연속적으로 관측된 변수 $C$ (예: 시간) 로 구성됩니다.
증분 인코딩: 값을 보간하는 대신, 각 관측치는 리 대수 증분 (Lie-algebra increment) $\Delta_i$ $Δ_{i}$ 로 변환됩니다. 이 증분은 다음을 포착합니다:
- 마지막 관측 이후 각 관측 채널의 값 변화.
- 반복된 값과 새로운 관측의 부재를 구별하기 위한 전용 "카운트 좌표"의 증분.
- 사용 가능한 경우, 고차 국부 정보 (예: 사전 계산된 부호付き 면적) 를 선택적으로 포함.
구간 구성: 임의의 쿼리 구간 $[\alpha, \beta)$ $[α, β)$ 에 대해, 임베딩은 다음을 조합하여 서명 인자 $G_{\alpha, \beta}$ $G_{α, β}$ 를 구성합니다:
- 이벤트 간격에 걸쳐 연속적으로 관측된 변수 (예: 시간) 의 서명 인자.
- 구간 내에서 발생하는 각 이산 이벤트에 대한 지수 인자 $E_i = \exp(\Delta_i)$ .
로그 서명 추출: 구간 로그 서명 $\Phi_{\alpha, \beta}$ 는 조합된 서명 $G_{\alpha, \beta}$ 에 로그를 적용하여 얻습니다.

이 구성은 해당 구간의 끝까지의 관측치에만 의존하므로, 연관 스캔 (associative scans) 을 통한 온라인 계산 및 시간 병렬 처리를 가능하게 합니다.

3. 모델 아키텍처: Log-SLiCE

저자들은 이 임베딩을 구조화 선형 CDE(SLiCEs), 구체적으로 Log-SLiCE 변형 내에 구현합니다.

구간에서의 숨겨진 상태 진화는 구간 로그 서명에 의해 구동되는 Log-ODE 업데이트에 의해 지배됩니다.
선형 모델의 경우, 구간 흐름은 로그 서분의 행렬 지수를 포함하는 폐쇄형 해를 가집니다.
이 구조는 숨겨진 상태들을 순차적 ODE 솔버에 비해 계산 복잡성을 크게 줄이면서 연관 스캔을 사용하여 구간 간에 병렬로 계산할 수 있게 합니다.

주요 기여

충실한 임베딩 형식화: 논문은 연속적이고 단사적인 임베딩이 모델 입력 공간에서 데이터 공간으로 보편성을 이전함을 증명하여, 보간 단계 제거를 정당화합니다.
새로운 임베딩 구성: 텐서 대수 인자 (증분) 로 관측치를 기록하고 보간 없이 구간 로그 서명으로 조합하는 불규칙 스트림을 위한 연속적이고 단사적인 임베딩.
효율적인 Log-SLiCE 구현: 구간 로그 서명 형식을 활용하여 Log-NCDE 를 위한 시간 병렬 알고리즘을 제공함으로써, 긴 시퀀스에서의 효율적인 학습과 추론을 가능하게 합니다.
실증적 검증: 정확성, 효율성, 그리고 불규칙성과 희소성에 대한 강건성을 입증하는 포괄적인 실험.

실험 결과

1. 효율성 및 정확도 (EigenWorms)

EigenWorms 데이터셋 (시리즈당 17,984 개의 관측치) 에서 Log-ODE 방법과 Log-SLiCE(BD-SLiCE) 의 결합은 다음과 같은 결과를 달성했습니다:

정확도: 86.1% 테스트 정확도 (표준 NCDE 의 75.0% 대비), 11.1% 포인트 향상.
속도: 학습 단계 시간을 거의 3,000배 (26.02 초에서 0.009 초로) 단축.
메모리: 표준 NCDE 와 비교 가능한 GPU 메모리 사용량 유지.

2. 불규칙 샘플링에 대한 일반화 (합성 결합 데이터)

합성 정현파 시스템을 사용하여 교차 체제 일반화를 테스트했습니다.

비동기 희소 데이터 (가장 어려운 체제) 로 훈련된 모델은 다른 모든 샘플링 체제 (동기식 규칙적, 동기식 불규칙, 비동기식 불규칙) 에서도 견고하게 유지되었습니다.
규칙적 데이터로 훈련된 모델은 비동기식 희소 설정으로 일반화하지 못했으며, 이는 고정된 샘플링 그리드에 기반한 단축을 학습했음을 시사합니다.
충실한 임베딩은 관측 그리드에 관계없이 모델이 근본적인 동역학을 학습할 수 있게 했습니다.

3. 고차 정보 활용 (브라운 운동)

해가 2 차 리 괄호 항 (Lévy 영역) 에 의존하는 브라운 운동으로 구동되는 선형 시스템에서:

Level 2 로그 서명(면적 정보 포함) 을 활용한 모델은 Level 1(증분) 만 사용한 모델보다 훨씬 낮은 평균 제곱 오차 (MSE) 를 달성했습니다.
이 접근법은 사전 계산된 고차 정보를 성공적으로 통합하여 1 차 증분 이상의 유연성을 입증했습니다.

4. 입력 드롭에 대한 강건성 (UEA 벤치마크)

6 개의 UEA 다변량 시계열 분류 데이터셋에서 저자들은 심각한 입력 드롭 (관측치의 최대 95% 제거) 을 시뮬레이션했습니다.

제안된 임베딩을 사용한 BD-SLiCE는 높은 성능을 유지하며, 드롭 없음 (64.0%) 에서 95% 드롭 (62.5%) 으로仅需 1.5% 포인트 감소했습니다.
모든 드롭 수준에서 평균 순위가 가장 우수하여, 순환 기반선 (S5, LRU, S6, Mamba) 과 표준 NCDE 를 능가했으며, 특히 심각한 희소화 하에서 두드러졌습니다.

중요성 및 주장

이 논문은 연속 시간 표현이 관측되지 않은 행동을 재구성하는 것보다 관측된 데이터를 보존하는 것을 우선시해야 한다고 주장합니다. "충실한 임베딩"을 형식화하고 하위 모델의 보편성을 보존함을 입증함으로써, 저자들은 보간을 우회하는 이론적 근거를 제공합니다.

제안된 방법은 보간 기반 임베딩에 대한 충실하고, 온라인이며, 효율적인 대안을 제공합니다. 이는 입력 샘플링 시간을 출력 쿼리 그리드에서 분리하고, 병렬 계산을 지원하며, 불규칙성, 비동기성, 데이터 희소성에 대한 우수한 강건성을 입증합니다. 결과는 보편적 연속 시간 모델의 경우 임베딩의 품질이 관측치 사이의 경로를 추측하는 능력이 아니라, 관측된 증분과 구간을 충실하게 인코딩하는 능력에 있음을 시사합니다.