기술 요약: 가상 센서를 위한 확장 가능한 다중 작업 모델

문제 정의

가상 센서는 기계 학습을 활용하여 기존 측정값으로부터 목표 신호를 예측함으로써, 자율 주행 및 의료와 같은 중요한 응용 분야에서 고비용의 물리적 센서를 대체하는 비용 효율적이고 신뢰할 수 있는 대안을 제공합니다. 그러나 기존 접근 방식은 다음과 같은 네 가지 주요 한계를 겪고 있습니다:

1. 확장성 부재: 현재 방법은 각 가상 센서별로 별도로 훈련 및 유지 관리되는 고립된 응용 프로그램 전용 모델에 의존하며, 입력 신호는 도메인 전문가가 수동으로 선택합니다. 이는 대규모 센서 네트워크로의 확장을 방해합니다.
2. 시너지 기회 상실: 고립된 모델들은 서로 다른 가상 센서 작업 간의 시너지를 활용할 수 없습니다.
3. 일관된 벤치마크 부재: 일관된 평가 기준이 부족하며, few works(소수의 연구) 만 표준 벤치마크 데이터 세트를 활용합니다.
4. 기초 모델의 한계: 시계열 기초 모델은 범용 솔루션을 제공하지만, 계산 비용이 많이 들며 입력 신호 예측에 국한됩니다. 다른 측정값으로부터 새로운, 보지 못한 신호를 예측할 수 없으므로 가상 센서 작업과는 호환되지 않습니다.

방법론

저자들은 인과적 디코더 전용 트랜스포머 아키텍처를 기반으로 한 통합적이고 확장 가능한 다중 작업 모델을 제안합니다. 핵심 혁신은 작업 시너지를 활용하면서도 계산 효율성을 유지하도록 설계된 세 가지 메커니즘에 있습니다:

1. 가상 센서의 선택적 예측

입력 집합에 존재하지 않는 신호인 가상 센서를 예측하기 위해, 모델은 프로토타입 토큰을 사용하는 자기회귀 메커니즘을 채택합니다.

• 토큰화: 입력 시계열은 정규화되고 패치되어 토큰으로 임베딩됩니다.
• 프로토타입 삽입: 특정 가상 센서 $j$를 예측하기 위해, 입력 시퀀스에 영벡터 프로토타입 토큰이 삽입됩니다.
• 변량 임베딩: 학습된 변량 임베딩 벡터 $v'_j$가 프로토타입 토큰에 추가됩니다. 이는 신경망이 관련 목표 정보를 빈 프로토타입으로 매핑하도록 유도하여, 모델이 기존 입력 신호를 기반으로 특정 가상 센서를 예측할 수 있게 합니다.
• 자기회귀: 모델은 다음 $p$ 시간 단계를 예측합니다. 후속 단계에서 모델의 이전 예측값이 가상 센서에 대한 새로운 입력으로 사용되며, 이는 물리적 입력은 존재하지만 가상 출력은 예측해야 하는 실제 배포 상황을 모방합니다.

2. 관련 입력 신호 학습

전문가가 선택한 입력에 의존하는 대신, 모델은 각 가상 센서에 대한 관련 입력 신호 집합을 엔드투엔드로 학습합니다.

• 신호 관련성 벡터: 모델은 각 가상 센서에 대해 학습 가능한 신호 관련성 벡터 $R' = \{r'_j\}$를 도입합니다. 각 벡터는 모든 사용 가능한 센서 (입력 및 기타 가상 센서) 의 관련성을 인코딩합니다.
• 어텐션 편향: 관련성 벡터는 외적을 통해 교차 관련성 행렬을 계산하는 데 사용되며, 이는 시간 축을 따라 복제되어 모든 트랜스포머 레이어의 어텐션 점수 계산에서 정적 편향으로 적용됩니다. 이를 통해 모델은 시간 무관적인 글로벌 신호 중요도를 학습할 수 있습니다.
• 설명 가능성: 이러한 벡터를 분석함으로써, 모델은 어떤 입력 신호가 특정 가상 센서 예측을 주도하는지에 대한 설명 가능성을 제공합니다.

3. 효율적인 희소화 및 선택

대규모 센서 네트워크의 계산적 제약을 해결하기 위해, 모델은 구조화된 희소성을 활용합니다:

• 임계값 설정: 훈련 후기 단계 및 추론 동안, 신호 관련성 벡터는 임계값 $r'_{thres}$에 기반하여 희소화됩니다. 중요하지 않은 신호는 $-\infty$로 마스킹되어 어텐션 메커니즘에서 효과적으로 제거됩니다.
• 동적 센서 선택: 모델은 단일 생성 단계에서 예측할 가상 센서를 유연하게 선택할 수 있습니다. 센서 부분집합을 예측할 때, 모델은 해당 특정 센서에 관련된 입력 신호 집합만 쿼리하여 처리되는 토큰 수를 최소화합니다.
• 훈련 전략: 모든 센서에 동일한 그래디언트가 발생하여 (이는 동일한 입력 집합으로 이어짐) 동일한 입력 집합이 생성되는 것을 방지하기 위해, 모델은 각 반복마다 무작위 부분집합의 가상 센서 ($N_{train}$) 로 훈련합니다. 또한, 메모리 및 계산 비용을 줄이기 위해 훈련 중 Teacher Forcing이 사용되며, 오차 누적을 완화하기 위해 역전파 (Backpropagation Through Time) 를 통한 미세 조정과 같은 하이브리드 접근 방식이 탐구되었습니다.

주요 기여

1. 대규모 벤치마크: 저자들은 세 가지 표준 시계열 예측 벤치마크 (Traffic, Electricity, Solar) 와 180 억 개 이상의 시계열 샘플을 포함하는 응용 프로그램 전용 자동차 CAN 버스 데이터 세트를 기반으로 통합된 가상 센서 모델에 대한 최초의 대규모 분석을 제공합니다.
2. 통합 다중 작업 아키텍처: 제안된 모델은 다양한 가상 센서를 동시에 예측하여 작업 시너지와 기초 시계열 지식을 활용합니다. 이는 거의 일정한 파라미터 수로 수백 개의 가상 센서까지 원활하게 확장됩니다.
3. 학습된 관련성 및 설명 가능성: 모델은 엔드투엔드로 관련 입력 신호를 학습함으로써 입력 선택에 대한 전문가 지식의 필요성을 제거하여 가상 센서 설계에 설명 가능성을 추가합니다.
4. 효율성 메커니즘: 선택적 예측, 학습된 관련성 마스킹, 희소화를 통해 아키텍처는 계산 시간 및 메모리 사용량을 크게 줄입니다.

결과

평가 결과, 예측 품질을 유지하거나 향상시키면서 상당한 효율성 향상을 보여주었습니다:

• 고립된 모델 대비 성능: 단일 센서를 위해 훈련된 고립된 모델과 비교할 때, 통합 접근 방식은 유사한 추론 속도로 더 우수한 예측을 생성합니다.
• 효율성 향상: CAN 버스 데이터 세트에서, 희소화나 선택적 예측을 활용하지 않는 표준 다중 작업 접근 방식에 비해 통합 모델은 계산 시간을 최대 415 배, 메모리 요구 사항을 951 배 줄입니다.
• 확장성: 모델은 소수의 가상 센서에서 수백 개로 확장될 때 안정적인 예측 품질 (낮은 MSE 표준 편차) 을 유지하는 반면, 고립된 모델은 파라미터의 선형 증가가 필요합니다.
• 설명 가능성: CAN 버스 데이터 세트에 대한 정성적 평가는 학습된 입력 신호 집합이 도메인 전문가 지식 (예: 온도와 유량 신호에 의존하는 온도 센서) 과 일치함을 확인시켜 줍니다.
• 전이 학습: 모델은 기존에 훈련된 모델에 새로운 가상 센서를 훈련 데이터의 10% 만 사용하여 효율적으로 도입할 수 있으며, 처음부터 훈련한 것과Comparable한 성능을 달성합니다.

중요성 및 주장

본 논문은 응용 프로그램 전용 가상 센서와 시계열 기초 모델 간의 간극을 성공적으로 연결하는 가상 센서를 위한 최초의 통합 모델을 제시한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 실용적 배포: 계산 및 메모리 요구 사항을 극적으로 줄임으로써, 현재 기초 모델이 너무 많은 자원을 소모하는 엣지 장치 및 대규모 센서 네트워크에서 가상 센서의 배포를 가능하게 합니다.
• 전문가 병목 현상 제거: 입력 관련성을 자동으로 학습함으로써 특징 선택에 대한 도메인 전문가에 대한 의존성을 제거하여 가상 센서 설계를 더 확장 가능하고 견고하게 만듭니다.
• 시너지 활용: 가상 센서 작업이 공유 지식으로부터 혜택을 받아 예측 품질과 효율성을 동시에 향상시킬 수 있음을 입증합니다.

저자들은 이 다중 작업 모델이 가상 센서의 새로운 응용 분야를 열어주며, 대규모 센서 네트워크의 계산 발자국을 줄여 보다 환경적으로 지속 가능한 시계열 모델링에 기여한다고 결론지었습니다. 그들은 대규모 모델 훈련의 높은 비용으로 인한 하이퍼파라미터 검색에 대한 한계를 인정하며, 추가 최적화의 가능성을 시사합니다.