How to make the most of your masked language model for protein engineering
이 논문은 가변 언어 모델 (MLM) 을 활용한 단백질 공학을 위해 확률적 빔 서치를 제안하고, 항체 치료제 개발을 위한 대규모 실험을 통해 샘플링 방법의 선택이 모델 선택만큼이나 중요함을 입증했습니다.
🤖 Category
cs.LG
4679 편의 논문
Data-Driven Integration Kernels for Interpretable Nonlocal Operator Learning
이 논문은 비국소적 정보의 집계와 국소적 비선형 예측을 명시적으로 분리하여 학습 가능한 통합 커널을 도입함으로써, 기후 과정의 비국소적 특성을 해석 가능하게 학습하면서도 과적합을 줄이고 매개변수 효율성을 높이는 프레임워크를 제안합니다.
NasoVoce: A Nose-Mounted Low-Audibility Speech Interface for Always-Available Speech Interaction
이 논문은 환경 소음에 강건하면서도 저음량 발화까지 포착할 수 있도록 안경의 코받침에 마이크와 진동 센서를 융합한 'NasoVoce'라는 새로운 음성 인터페이스를 제안하고, 이를 통해 항상 가능한 조용하고 은밀한 AI 음성 대화의 실현 가능성을 입증했습니다.
Federated Active Learning Under Extreme Non-IID and Global Class Imbalance
이 논문은 심한 비균등 분포와 글로벌 클래스 불균형 하에서 페더레이티드 액티브 러닝의 성능 저하 문제를 해결하기 위해, 글로벌 및 로컬 모델 간 적응적 선택과 클래스 인식 샘플링 전략을 통합한 'FairFAL' 프레임워크를 제안하고 그 우수성을 입증합니다.
On The Complexity of Best-Arm Identification in Non-Stationary Linear Bandits
이 논문은 비정상적 선형 밴드트 환경에서 고정 예산 하의 최적 암 식별 (BAI) 문제를 연구하여, 기존 G-최적 설계의 과도하게 보수적인 복잡도 한계를 극복하는 암 집합 의존적 하한을 수립하고, 이를 기반으로 한 'Adjacent-BAI' 알고리즘이 이 하한과 일치하는 최적의 성능을 보임을 증명합니다.
HEAL: Hindsight Entropy-Assisted Learning for Reasoning Distillation
이 논문은 교사의 실패로 인한 '교사 한계'를 극복하고 학생 모델의 추론 능력을 향상시키기 위해, 엔트로피 기반의 힌트 주입, 퍼플렉시티-불확실성 비율 필터링, 그리고 점진적 커리큘럼 진화를 통합한 RL-free 프레임워크인 HEAL을 제안합니다.
Causal Concept Graphs in LLM Latent Space for Stepwise Reasoning
이 논문은 희소 오토인코더와 미분 가능한 구조 학습을 결합하여 언어 모델의 잠재 공간에 인과적 개념 그래프 (CCG) 를 구축하고, 이를 통해 다단계 추론 과정에서 개념 간 인과 관계를 해석 가능하게 포착하며 개입 효과를 검증하는 새로운 프레임워크를 제안합니다.
Optimal Expert-Attention Allocation in Mixture-of-Experts: A Scalable Law for Dynamic Model Design
이 논문은 GPT 스타일의 믹스처 오브 전문가 (MoE) 모델에서 총 연산량과 희소도에 따라 전문가 레이어와 어텐션 레이어 간의 최적 연산 배분 비율을 결정하는 새로운 스케일링 법칙을 제안하여, 고정된 연산 예산 내에서 MoE 모델의 효율적인 설계와 성능 최적화를 위한 실용적인 지침을 제공합니다.
Variance-Aware Adaptive Weighting for Diffusion Model Training
이 논문은 확산 모델의 다양한 노이즈 수준에서 발생하는 손실 불균형을 해결하기 위해 손실 분산에 기반한 적응형 가중치 전략을 제안하고, 이를 통해 CIFAR 데이터셋에서 생성 성능을 향상시키고 학습 안정성을 높였음을 보여줍니다.
Graph-GRPO: Training Graph Flow Models with Reinforcement Learning
이 논문은 그래프 흐름 모델 (GFM) 의 전이 확률에 대한 분석적 표현을 도출하고 그래프의 국소적 탐색을 가능하게 하는 정제 전략을 통해 검증 가능한 보상에 기반한 온라인 강화학습 프레임워크인 Graph-GRPO 를 제안하며, 이를 통해 분자 최적화 등 다양한 작업에서 최첨단 성능을 달성함을 보여줍니다.
On the Learning Dynamics of Two-layer Linear Networks with Label Noise SGD
이 논문은 레이블 노이즈가 포함된 SGD 를 사용하는 2 층 선형 신경망의 학습 역학을 분석하여, 노이즈가 모델이 '게으른(regime)' 상태에서 '풍부한(rich)' 상태로 전환되도록 유도하고 일반화 성능을 향상시키는 두 단계 학습 메커니즘을 규명했다고 요약할 수 있습니다.
Designing Service Systems from Textual Evidence
이 논문은 편향된 LLM 점수와 비용이 큰 인간 검증을 결합하여 서비스 시스템의 최적 구성을 효율적으로 식별하는 PP-LUCB 알고리즘을 제안하고, 이를 통해 검증 비용을 90% 절감하면서도 높은 정확도를 달성함을 보여줍니다.
Effective Dataset Distillation for Spatio-Temporal Forecasting with Bi-dimensional Compression
이 논문은 기존 방법의 한계를 극복하기 위해 시공간 데이터의 시간과 공간 차원을 모두 압축하는 'STemDist'라는 새로운 데이터 증류 기법을 제안하여, 기존 방법 대비 훈련 속도를 최대 6 배, 메모리 효율을 최대 8 배 향상시키면서 예측 오차를 최대 12% 까지 낮추는 성과를 입증했습니다.
Domain-Adaptive Health Indicator Learning with Degradation-Stage Synchronized Sampling and Cross-Domain Autoencoder
이 논문은 다양한 작동 조건에서 발생하는 분포 불일치 문제를 해결하기 위해, 열화 단계 동기화 배치 샘플링 (DSSBS) 과 교차 도메인 정렬 융합 대형 오토인코더 (CAFLAE) 를 도입하여 건강 지표 (HI) 학습의 정확도를 기존 최첨단 방법 대비 평균 24.1% 향상시킨 도메인 적응 프레임워크를 제안합니다.
Adaptive Active Learning for Regression via Reinforcement Learning
이 논문은 강화 학습을 활용하여 탐색과 추론의 균형을 동적으로 조절하는 '가중치 개선 그리드 샘플링 (WiGS)'을 제안함으로써, 기존 개선 그리드 샘플링 (iGS) 보다 불규칙한 데이터 밀도 환경에서 더 높은 정확도와 레이블링 효율성을 달성하는 적응형 회귀 학습 방법을 제시합니다.
GGMPs: Generalized Gaussian Mixture Processes
이 논문은 다중 모드, 이분산성 및 강한 비가우시안성을 가진 조건부 밀도 추정을 위해 국소 가우시안 혼합 피팅과 교차 입력 성분 정렬을 결합하여 폐쇄형 가우시안 혼합 예측 밀도를 생성하는 새로운 방법인 일반화된 가우시안 혼합 프로세스 (GGMP) 를 제안합니다.
The Curse and Blessing of Mean Bias in FP4-Quantized LLM Training
이 논문은 저비트 LLM 학습 시 발생하는 수치적 불안정성의 주된 원인이 랭크 1 의 평균 편향임을 규명하고, 이를 제거하는 간단한 평균 차감 기법을 통해 BF16 수준의 안정성과 성능을 FP4 양자화 환경에서도 효율적으로 회복할 수 있음을 제시합니다.
Unlearning the Unpromptable: Prompt-free Instance Unlearning in Diffusion Models
이 논문은 텍스트 프롬프트로 지정하기 어려운 특정 인스턴스 (예: 개인 얼굴) 를 선택적으로 잊게 하되 모델의 나머지 기능은 유지하기 위해 이미지 편집, 시간 단계 인식 가중치, 기울기 수술을 활용한 프롬프트 없는 확산 모델 인스턴스 언러닝 방법을 제안합니다.
Brenier Isotonic Regression
이 논문은 다중 출력 회귀 문제에서 단조성을 유지하기 위해 최적 수송 이론의 브레니어 포텐셜을 활용하여 '브레니어 등적 회귀'라는 새로운 방법을 제안하고, 확률 보정 및 일반화 선형 모델 실험을 통해 기존 기법보다 우수한 성능을 입증합니다.
Spatio-Temporal Forecasting of Retaining Wall Deformation: Mitigating Error Accumulation via Multi-Resolution ConvLSTM Stacking Ensemble
이 논문은 다양한 시간 해상도의 입력을 활용하여 다중 해상도 ConvLSTM 앙상블 프레임워크를 제안함으로써, 단계별 굴착 중 옹벽 변형의 장기 예측 시 오류 누적을 완화하고 예측 정확도와 안정성을 향상시켰음을 보여줍니다.