ContextBench: Modifying Contexts for Targeted Latent Activation
이 논문은 언어 모델의 특정 잠재적 특징이나 행동을 유도하는 입력을 생성하는 '맥락 수정' 접근법을 제안하고, 이를 평가하는 벤치마크 'ContextBench'를 소개하며, LLM 보조와 확산 모델 인페인팅을 결합한 진화적 프롬프트 최적화 (EPO) 변형이 유창성과 유도 효과를 동시에 달성하는 최첨단 성능을 보인다고 주장합니다.
📊 Category
stat.ML
333 편의 논문
Iterative Quantum Feature Maps
이 논문은 잡음과 하드웨어 제약으로 인해 깊은 양자 특징 맵의 구현이 어려운 현실적 문제를 해결하기 위해, 얕은 양자 특징 맵을 반복적으로 연결하고 계층별 학습 및 대비 학습을 도입한 하이브리드 양자 - 고전 프레임워크인 '반복적 양자 특징 맵 (IQFMs)'을 제안하여 변이 양자 파라미터 최적화 없이도 잡음 환경에서 우수한 성능을 달성하는 방법을 제시합니다.
Learning the action for long-time-step simulations of molecular dynamics
이 논문은 기계 학습을 통해 시스템의 역학적 작용 (action) 을 학습하여 구조를 보존하는 (대칭적 및 시간 가역적) 매핑을 구축함으로써, 분자 동역학 시뮬레이션의 긴 시간 간격 예측 시 발생하는 에너지 비보존 등의 문제를 해결하고 다양한 열역학적 조건과 화학적 조성에 적용 가능한 고효율 적분기를 제안합니다.
Kernel VICReg for Self-Supervised Learning in Reproducing Kernel Hilbert Space
이 논문은 기존 유클리드 공간의 한계를 극복하고 비선형 구조를 효과적으로 포착하기 위해 VICReg 목적 함수를 재생 커널 힐베르트 공간 (RKHS) 으로 확장한 'Kernel VICReg'를 제안하고, 다양한 데이터셋에서 기존 방법보다 우수한 성능을 입증합니다.
Spectral/Spatial Tensor Atomic Cluster Expansion with Universal Embeddings in Cartesian Space
이 논문은 구면 텐서 표현의 복잡성을 극복하고 스칼라 및 텐서 관측량을 통합적으로 처리할 수 있는 새로운 '텐서 원자 클러스터 전개 (TACE)' 모델을 제안하여 분자 및 재료 시스템의 다양한 물성 예측에서 뛰어난 정확성과 확장성을 입증했습니다.
Learning Centre Partitions from Summaries
이 논문은 다중 중심 연구에서 중심 간 이질성을 검정하고 '중심 군집 (CoC)' 알고리즘을 통해 동질적인 중심들을 순차적으로 병합하는 새로운 통계적 프레임워크를 제안하며, 특히 부트스트랩 기반의 다중 라운드 절차를 통해 진정한 중심 분할을 높은 확률로 복원할 수 있음을 이론적으로 증명하고 실증 분석을 통해 그 유효성을 입증합니다.
Self-Speculative Masked Diffusions
이 논문은 최종 어텐션 마스크를 비인과적에서 인과적으로 변경하여 드래프트 토큰 생성과 병렬 검증을 가능하게 함으로써, 이산 데이터 생성 시 표준 마스킹 확산 모델 대비 네트워크 순전파 횟수를 약 2 배 줄인 '자기-예측 마스킹 확산 (Self-Speculative Masked Diffusions)'을 제안합니다.
Escaping Model Collapse via Synthetic Data Verification: Near-term Improvements and Long-term Convergence
이 논문은 외부 검증자 (인간 또는 더 나은 모델) 를 통해 합성 데이터의 정보를 주입하면 모델 붕괴를 방지하고 단기적인 성능 향상을 이끌어낼 수 있음을 이론적으로 증명하고, 선형 회귀부터 VAE 및 LLM 미세조정 실험을 통해 이를 검증했습니다.
CADM: Cluster-customized Adaptive Distance Metric for Categorical Data Clustering
이 논문은 범주형 데이터의 클러스터별 특성 분포를 반영하여 거리 측정을 적응적으로 조정하는 '클러스터 맞춤 적응 거리 척도 (CADM)'를 제안하고, 이를 수치 및 범주형 데이터가 혼합된 데이터에도 확장하여 다양한 데이터셋에서 탁월한 클러스터링 성능을 입증했습니다.
DAISI: Data Assimilation with Inverse Sampling using Stochastic Interpolants
이 논문은 복잡한 동역학 시스템에서 고전적인 가우스 근사의 한계를 극복하고, 사전 학습된 생성 모델을 역샘플링 및 안내 기반 조건부 샘플링 기법과 결합하여 희소하고 잡음이 섞인 비선형 관측 데이터에서도 정확한 상태 추정이 가능한 확장 가능한 데이터 동화 알고리즘 'DAISI'를 제안합니다.
Data-Driven Global Sensitivity Analysis for Engineering Design Based on Individual Conditional Expectations
이 논문은 강한 상호작용이 존재할 때 기존 부분 의존도 플롯 (PDP) 의 한계를 극복하고 개별 조건부 기대 (ICE) 곡선을 기반으로 한 새로운 전역 민감도 분석 지표를 제안하여, 공학 설계에서 입력 변수가 데이터 기반 모델에 미치는 영향을 보다 정확하게 규명하는 방법을 제시합니다.
Learning Optimal Distributionally Robust Individualized Treatment Rules Integrating Multi-Source Data
이 논문은 소스 데이터와 타겟 데이터 간의 조건부 분포 불일치 (후사적 이동) 에 강건한 최적의 개별화 치료 규칙 (ITR) 을 도출하기 위해 사전 정보를 기반으로 한 분포 강건성 (PDRO-ITR) 접근법을 제안하고, 이에 대한 폐쇄형 해와 적응형 튜닝 절차 및 위험 상한을 제시하여 기존 방법보다 우수한 성능을 입증합니다.
Prediction-Powered Conditional Inference
이 논문은 레이블이 있는 데이터가 부족하고 예측 모델이 이용 가능한 환경에서 조건부 평균과 같은 통계적 추론을 수행하기 위해 커널 기반 국소화 기법과 머신러닝 예측을 결합하여 분산을 줄이면서도 유효성을 보장하는 새로운 방법론을 제안하고 그 이론적 성질과 실증적 우수성을 입증합니다.
Behavior-dLDS: A decomposed linear dynamical systems model for neural activity partially constrained by behavior
이 논문은 행동과 내부 계산을 분리하여 대규모 신경 활동을 모델링하는 새로운 방법인 '행동 분해 선형 동적 시스템 (b-dLDS)'을 제안하고, 이를 통해 행동 생성 네트워크와 내부 계산을 구별하며 실제 대규모 신경 데이터에서 행동 관련 동적 연결성을 규명하는 성과를 보여줍니다.
Improved Scaling Laws via Weak-to-Strong Generalization in Random Feature Ridge Regression
이 논문은 약한 교사 모델의 불완전한 레이블로 훈련된 강한 학생 모델이 무작위 특징 리지 회귀 (RFRR) 를 통해 교사 모델의 스케일링 법칙을 능가하고, 심지어 교사 모델의 오차가 감소하지 않더라도 최소최대 최적 수렴 속도를 달성할 수 있음을 보임으로써 약한-to-강한 일반화의 잠재력을 규명합니다.
Design Experiments to Compare Multi-armed Bandit Algorithms
이 논문은 다중 팔 밴딧 알고리즘 비교 실험의 비용을 절감하고 추정의 분산을 줄이기 위해, 한 정책의 실행 궤적을 재사용하여 다른 정책의 평가를 수행하는 '인공 리플레이 (Artificial Replay)'라는 새로운 실험 설계와 그 이론적 근거를 제안합니다.
Large deviation principles for convolutional Bayesian neural networks
이 논문은 가우시안 가중치 사전 분포를 가진 컨볼루션 신경망 (CNN) 에 대해 무한 채널 극한에서 조건부 공분산 행렬과 사후 분포에 대한 대편차 원리 (LDP) 를 최초로 확립하고, 가우시안 동등성과 조건부 공분산의 집중성을 간결하게 증명합니다.
Agnostic learning in (almost) optimal time via Gaussian surface area
이 논문은 가우스 표면적 를 갖는 개념 클래스의 아노스틱 학습 복잡도를 기존 차수에서 차수로 개선하여 통계적 쿼리 모델에서 다항식 임계 함수 학습의 (거의) 최적 경계를 제시합니다.
Predictive Coding Graphs are a Superset of Feedforward Neural Networks
이 논문은 뇌과학에서 영감을 받은 확률적 잠재 변수 모델인 예측 코딩 그래프 (PCG) 가 다층 퍼셉트론을 포함하는 수학적 초집합임을 증명하여, 예측 코딩 네트워크를 현대 기계학습의 맥락에 더 강력하게 위치시키고 신경망 위상학 연구의 중요성을 재확인합니다.
Gradient Flow Polarizes Softmax Outputs towards Low-Entropy Solutions
이 논문은 소프트맥스 기반 모델의 경사 흐름이 다양한 손실 함수에 걸쳐 저엔트로피 해를 향해 출력을 극화시키는 보편적 메커니즘을 규명함으로써, 어텐션 싱크와 같은 트랜스포머의 실증적 현상에 대한 이론적 근거를 제시합니다.