Language Generation with Replay: A Learning-Theoretic View of Model Collapse
이 논문은 생성된 텍스트가 학습 데이터에 재유입되는 '리플레이'가 언어 생성의 수렴성에 미치는 영향을 학습이론적 관점에서 분석하여, 균일 생성에는 무해하지만 비균일 생성과 극한 생성에서는 성능 저하를 초래할 수 있음을 증명하고, 이를 완화하는 실용적 기법들의 이론적 한계를 규명합니다.
🤖 Category
cs.LG
3931 편의 논문
Disentangled Representation Learning through Unsupervised Symmetry Group Discovery
이 논문은 기존 방법의 제약 없이 자율 에이전트가 환경 상호작용을 통해 대칭군 구조를 무감독적으로 발견하고, 이를 통해 최소 가정 하에 선형 대칭 기반 해리 표현을 학습하는 새로운 방법론을 제안하고 그 유효성을 입증합니다.
Exponential-Family Membership Inference: From LiRA and RMIA to BaVarIA
이 논문은 기존Membership Inference Attack(LiRA, RMIA) 을 지수족 로그우도비 프레임워크로 통합하여 계층 구조를 규명하고, 소규모 섀도 모델 예산 환경에서 분산 추정을 개선한 베이지안 기반의 BaVarIA 를 제안하여 기존 기법보다 우수한 성능을 입증합니다.
OSM-based Domain Adaptation for Remote Sensing VLMs
이 논문은 대규모 교사 모델에 의존하지 않고 오픈스트리트맵 (OSM) 데이터와 오픈소스 VLM 의 자체 능력을 활용하여 원격 탐사 도메인 적응을 위한 고품질 데이터 생성 및 모델 학습을 가능하게 하는 'OSMDA' 프레임워크를 제안하고, 이를 통해 비용 효율적으로 최첨단 성능을 달성함을 보여줍니다.
Hypercomplex Widely Linear Processing: Fundamentals for Quaternion Machine Learning
이 논문은 머신러닝 분야에서 3 차원 회전 모델링의 강력한 능력을 가진 쿼터니온의 부흥을 배경으로, 증강 통계, 광선형 모델, 쿼터니온 미적분 및 평균 제곱 추정 등을 체계적으로 다루어 쿼터니온 머신러닝 연구의 기초를 마련합니다.
Inverse Neural Operator for ODE Parameter Optimization
이 논문은 희소하고 부분적인 관측 데이터로부터 숨겨진 ODE 매개변수를 복원하기 위해 스펙트럴 정규화를 통한 C-FNO 기반의 대리 모델과 역전파 없이 매개변수 공간을 이동하는 ADM 을 결합한 '역 신경 연산자 (INO)'를 제안하며, 이를 통해 강성 (stiff) 환경에서 기존 경사하강법 대비 487 배 빠른 추론 속도와 높은 정확도를 달성함을 보여줍니다.
Multi-Station WiFi CSI Sensing Framework Robust to Station-wise Feature Missingness and Limited Labeled Data
이 논문은 라벨이 부족한 환경에서 다중 스테이션 WiFi CSI 센싱의 핵심 과제인 스테이션별 특징 누락 문제를 해결하기 위해, 크로스모달 자기지도학습을 활용한 표현 학습과 스테이션별 마스킹 증강을 결합한 새로운 프레임워크를 제안합니다.
On the Role of Reversible Instance Normalization
이 논문은 시계열 예측에서 데이터 정규화의 역할을 재조명하며, 가역 인스턴스 정규화 (RevIN) 의 구성 요소 중 일부가 불필요하거나 오히려 해로울 수 있음을 실험을 통해 규명하고 이를 개선하기 위한 새로운 관점을 제시합니다.
FlexRec: Adapting LLM-based Recommenders for Flexible Needs via Reinforcement Learning
이 논문은 시퀀스 수준의 보상이나 희소하고 노이즈가 많은 피드백으로 인한 학습 불안정성을 해결하기 위해, 역사실적 스왑 기반의 인과적 아이템 수준 보상과 불확실성을 고려한 크리틱 가이드 스케일링을 도입한 강화학습 기반 추천 프레임워크 'FlexRec'을 제안하여 다양한 추천 시나리오에서 기존 모델 대비 NDCG 와 Recall 성능을 획기적으로 향상시켰음을 보여줍니다.
Causal Representation Learning with Optimal Compression under Complex Treatments
이 논문은 다중 치료 효과 추정의 과적합 및 차원의 저주 문제를 해결하기 위해 최적의 균형 가중치를 이론적으로 유도하고, 확장성이 뛰어난 'Treatment Aggregation' 전략과 생성형 아키텍처를 제안하여 대규모 개입 시나리오에서 정확도와 효율성을 크게 향상시켰습니다.
EnTransformer: A Deep Generative Transformer for Multivariate Probabilistic Forecasting
이 논문은 에너지 기반 스코링 목적 함수와 엔그레션 (engression) 을 결합하여 파라미터적 가정을 피하면서도 상관관계가 있는 다변량 시계열의 복잡한 결합 예측 분포를 학습하고 일관된 확률적 예측을 생성하는 새로운 딥 생성 트랜스포머 모델인 'EnTransformer'를 제안하고, 다양한 벤치마크 데이터셋에서 기존 모델보다 우수한 성능을 입증합니다.
Chem4DLLM: 4D Multimodal LLMs for Chemical Dynamics Understanding
이 논문은 정적 분자 표현의 한계를 극복하고 화학 반응의 동적 현상을 이해하기 위해 4 차원 분자 궤적을 자연어 설명으로 변환하는 새로운 작업인 '화학 동역학 이해 (ChemDU)'를 제안하고, 이를 평가하기 위한 데이터셋 'Chem4DBench'와 회전 동역학을 포착하는 통합 모델 'Chem4DLLM'을 소개합니다.
MobileKernelBench: Can LLMs Write Efficient Kernels for Mobile Devices?
이 논문은 모바일 기기를 위한 효율적인 커널 생성이 현재 LLM 의 한계로 인해 어렵다는 점을 MobileKernelBench 를 통해 규명하고, 이를 극복하기 위해 제안한 다중 에이전트 시스템 MoKA 가 높은 컴파일 성공률과 성능 개선을 달성했음을 보여줍니다.
Prototype-Based Knowledge Guidance for Fine-Grained Structured Radiology Reporting
이 논문은 자유 텍스트 보고서에서 추출한 다중 모달 지식 기반을 활용하여 시각적 프로토타입을 기반으로 예측을 보정하는 'ProtoSR'을 제안함으로써, 구조화된 방사선 보고서 생성의 정밀도를 혁신적으로 향상시켰습니다.
Exhaustive Circuit Mapping of a Single-Cell Foundation Model Reveals Massive Redundancy, Heavy-Tailed Hub Architecture, and Layer-Dependent Differentiation Control
이 논문은 Geneformer 기반의 단일 세포 모델에 대한 포괄적인 회로 매핑을 통해 기존 분석의 편향을 드러내고, 중대한 중복성, 편향된 허브 구조, 그리고 세포 분화 방향성을 결정하는 계층 의존적 인과 메커니즘을 규명했습니다.
Causal Matrix Completion under Multiple Treatments via Mixed Synthetic Nearest Neighbors
이 논문은 다중 치료 수준에서 데이터 부족 문제를 해결하기 위해 치료 수준 간 정보를 통합한 새로운 '혼합 합성 최근접 이웃 (MSNN)' 추정량을 제안하며, 기존 방법의 이론적 보장을 유지하면서 데이터가 부족한 치료 수준에서도 추정의 정확성을 향상시킵니다.
Effective Resistance Rewiring: A Simple Topological Correction for Over-Squashing
이 논문은 그래프 신경망의 과압축 (over-squashing) 문제를 해결하기 위해 전역적 신호인 유효 저항을 기반으로 간선을 재배치하는 '유효 저항 재배선 (ERR)' 방법을 제안하고, 이를 통해 장기 의존성 학습을 개선하면서도 과부드러짐 (oversmoothing) 과의 균형을 맞추기 위해 정규화 기법과 결합할 때 최적의 성능을 얻을 수 있음을 보여줍니다.
Geometry-Aware Probabilistic Circuits via Voronoi Tessellations
이 논문은 확률적 회로 (PC) 의 데이터 매니폴드 국소 기하학적 구조를 포착하기 위해 보로노이 테셀레이션을 도입하되, 이로 인한 계산 복잡성 문제를 해결하기 위해 근사 추론 프레임워크와 정확한 추론이 가능한 구조적 조건을 제안하고 미분 가능한 완화 기법을 통해 학습을 가능하게 합니다.
Learning Transferable Sensor Models via Language-Informed Pretraining
이 논문은 다양한 센서 설정에 걸쳐 일반화 가능한 언어 정렬 표현을 학습하기 위해 대조적 정렬과 센서 조건부 캡션링을 통합하고, 사전 학습된 언어 모델을 활용하여 재학습 없이도 가변적인 시간 해상도와 입력 길이를 지원하는 오픈 소스 프레임워크인 SLIP을 제안합니다.
Uncovering Locally Low-dimensional Structure in Networks by Locally Optimal Spectral Embedding
이 논문은 전역적 저차원 가정이 실세계 네트워크의 국소적 구조를 왜곡하는 문제를 해결하기 위해 가중치 스펙트럼 분해를 기반으로 한 '국소 인접 스펙트럼 임베딩 (LASE)'을 제안하고, 이를 통해 국소적 저차원 구조를 효과적으로 포착하며 UMAP-LASE 를 통해 고충실도 전역 시각화를 가능하게 함을 보여줍니다.