Discrete Tokenization Unlocks Transformers for Calibrated Tabular Forecasting
이 논문은 의도적으로 단순화된 이산 토큰화 기법과 적응형 가우시안 평활화를 결합하여 트랜스포머가 기존 그라디언트 부스팅보다 탁월한 보정된 확률 밀도 함수 예측 성능을 달성할 수 있음을 입증합니다.
🤖 Category
cs.LG
11471 편의 논문
Dial: A Knowledge-Grounded Dialect-Specific NL2SQL System
이 논문은 이기종 데이터베이스 시스템의 각기 다른 SQL 문법과 제약 조건을 고려하여 자연어에서 실행 가능한 SQL 쿼리를 생성하는 지식 기반 프레임워크 'Dial'을 제안하고, 논리적 쿼리 계획, 계층적 지식 베이스, 실행 기반 디버깅 루프를 통해 기존 방법론 대비 번역 정확도와 기능 커버리지를 크게 향상시켰음을 보여줍니다.
SLNet: A Super-Lightweight Geometry-Adaptive Network for 3D Point Cloud Recognition
이 논문은 NAPE 와 GMU 라는 두 가지 간단한 아이디어를 기반으로 0.14M~0.55M 개의 파라미터만 사용하면서도 PointMLP 나 Point Transformer V3 와 같은 기존 모델들을 파라미터 수와 연산량 측면에서 압도적으로 줄이면서 높은 정확도를 달성하는 초경량 3D 포인트 클라우드 인식 네트워크인 SLNet 을 제안합니다.
The Dual-Stream Transformer: Channelized Architecture for Interpretable Language Modeling
이 논문은 어텐션과 피드포워드 네트워크를 각각 토큰 스트림과 컨텍스트 스트림으로 분리하여 해석 가능성과 성능 사이의 조절 가능한 균형을 제공하는 '듀얼-스트림 트랜스포머' 아키텍처를 제안하고, 이를 통해 내부 구조가 설계 단계에서 노출되는 해석 가능한 언어 모델의 기반을 마련했다고 요약할 수 있습니다.
Trusting What You Cannot See: Auditable Fine-Tuning and Inference for Proprietary AI
이 논문은 대규모 언어 모델의 클라우드 기반 미세 조정 및 추론 과정에서 발생하는 신뢰 격차와 보안 위험을 해결하기 위해, 실행의 무결성을 보장하고 클라이언트가 추후 검증 가능한 기록을 통해 프로세스를 감사할 수 있도록 하는 경량화된 프레임워크인 'AFTUNE'을 제안합니다.
Probabilistic Inference and Learning with Stein's Method
이 논문은 스타인 (Stein) 방법을 활용한 확률적 추론과 학습의 이론적·방법론적 측면을 엄밀하게 개괄하며, 스타인 연산자와 스타인 집합을 기반으로 한 스타인 불일치 (discrepancy) 의 구성법과 그 성질, 그리고 스타인 변분 경사 하강법과의 연관성을 체계적으로 다룹니다.
Towards Lightweight Adaptation of Speech Enhancement Models in Real-World Environments
이 논문은 실시간 환경 변화에 대응하여 기존 음성 향상 모델의 1% 미만 파라미터만 업데이트하는 경량 자기지도 학습 어댑터 프레임워크를 제안함으로써, 온디바이스 배포에 적합한 실시간 적응을 가능하게 하고 성능을 크게 향상시킵니다.
Contact-Guided 3D Genome Structure Generation of E. coli via Diffusion Transformers
이 논문은 Hi-C 접촉 지도를 조건으로 하는 확산 트랜스포머 프레임워크를 제안하여, Escherichia coli 게놈의 단일 결정적 구조가 아닌 Hi-C 데이터와 일치하는 이질적인 3 차원 입체 구조 앙상블을 생성하는 방법을 제시합니다.
Interpretable-by-Design Transformers via Architectural Stream Independence
이 논문은 토큰 스트림과 문맥적 의미를 분리하여 처리하는 'Late Fusion Architecture(LFA)'를 제안함으로써, 사전적 구조적 제약을 통해 모델의 내재적 해석 가능성을 보장하고 의미 이해를 강화하며 위치적 휴리스틱에 대한 의존성을 줄이는 새로운 접근법을 제시합니다.
Pushing Bistatic Wireless Sensing toward High Accuracy at the Sub-Wavelength Scale
이 논문은 비동기 시계로 인한 위상 오차를 해결하기 위해 기존 교차 안테나 채널 비율의 한계를 극복하고, 채널 응답 진폭을 활용하여 이상적인 채널 특성을 복원함으로써 비접촉식 무선 센싱의 정확도를 파장 이하 스케일에서 획기적으로 향상시키는 새로운 프레임워크를 제안합니다.
Enhanced Random Subspace Local Projections for High-Dimensional Time Series Analysis
이 논문은 고차원 시계열 분석에서 예측 변수의 수가 관측치 수를 초과할 때 발생하는 과적합 문제를 해결하기 위해, 가중치 서브스페이스 집계, 카테고리 인식 샘플링, 적응형 서브스페이스 크기 선택 및 부트스트랩 추론 절차를 통합한 향상된 랜덤 서브스페이스 국소 투영 (RSLP) 프레임워크를 제안하여 임펄스 반응 추정의 안정성과 신뢰성을 크게 개선합니다.
A Unified Framework for Knowledge Transfer in Bidirectional Model Scaling
이 논문은 모델 가중치를 연속 신호로 간주하고 이산 웨이블릿 변환을 활용하여 소규모에서 대규모로, 대규모에서 소규모로의 양방향 모델 확장 문제를 통합적으로 해결하는 'BoT' 프레임워크를 제안합니다.
Online Continual Learning for Anomaly Detection in IoT under Data Distribution Shifts
이 논문은 비정상적인 환경에서 IoT 이상 탐지를 위해 디바이스에서의 지능형 샘플 선택과 엣지 서버의 분포 변화 감지 메커니즘을 결합한 OCLADS 프레임워크를 제안하여, 모델 업데이트 횟수를 크게 줄이면서도 높은 추론 정확도를 달성함을 보여줍니다.
A Unified View of Drifting and Score-Based Models
이 논문은 드리프트 (drifting) 모델이 커널-부드러운 분포에 대한 스코어 매칭 (score-matching) 원리를 기반으로 한다는 것을 증명하여, 드리프트와 확산 모델 간의 관계를 정밀하게 규명하고 다양한 커널에 대한 이론적 근거를 제시합니다.
Reinforcement learning-based dynamic cleaning scheduling framework for solar energy system
이 논문은 아랍에미리트 아부다비를 사례로 하여, 먼지 축적으로 인한 태양광 패널 효율 저하 문제를 해결하기 위해 강화학습 (특히 PPO 알고리즘) 을 기반으로 한 동적 청소 일정 최적화 프레임워크를 제안하며, 이를 통해 기존 고정 주기 방식 대비 최대 13% 의 비용 절감 효과를 입증했습니다.
Beyond Data Splitting: Full-Data Conformal Prediction by Differential Privacy
이 논문은 데이터 분할 없이 차분 프라이버시에서 유도된 안정성을 활용하여 유효 표본 크기를 유지하면서도 점진적으로 명목 커버리지 수준을 회복하는 전체 데이터 기반의 프라이버시 보호 컨포멀 예측 프레임워크를 제안합니다.
One-for-All Model Initialization with Frequency-Domain Knowledge
이 논문은 가중치의 저주파 성분에 인코딩된 'learngene'을 이산 코사인 변환 (DCT) 을 통해 추출하여 훈련 없이 임의 크기의 모델에 적용할 수 있는 새로운 지식 전이 프레임워크인 FRONT 를 제안함으로써, 다양한 시각 및 언어 작업에서 최첨단 성능과 빠른 수렴을 달성함을 보여줍니다.
Neural Dynamics-Informed Pre-trained Framework for Personalized Brain Functional Network Construction
이 논문은 선형 가정과 사전 정의된 뇌 지도에 의존하는 기존 방법의 한계를 극복하고, 신경 역학을 반영한 사전 학습 프레임워크를 통해 이질적인 시나리오에서 개인별 뇌 기능 네트워크를 정확하게 구축하는 새로운 접근법을 제시합니다.
Generative prediction of laser-induced rocket ignition with dynamic latent space representations
이 논문은 레이저 점화 로켓 엔진의 복잡한 다물리 난류 시뮬레이션 비용을 획기적으로 줄이고 실시간 디지털 트윈 구현을 가능하게 하기 위해 합성곱 오토인코더와 신경 미분방정식을 결합한 데이터 기반 대리 모델링 접근법을 제안합니다.
Obliviator Reveals the Cost of Nonlinear Guardedness in Concept Erasure
이 논문은 비선형 적대적 공격으로부터 보호하면서도 유용성을 보존하는 개념 소거를 위해 커널 합성 최적화를 점진적으로 수행하는 'Obliviator'를 제안하고, 이를 통해 비선형적 보호의 비용과 속성 보호 및 유용성 보존 간의 역동적 균형을 규명합니다.