Addressing the Ecological Fallacy in Larger LMs with Human Context
이 논문은 대규모 언어 모델 (8B Llama) 에 대해 저자의 언어적 맥락을 고려한 HuLM 과 HuFT 기법을 적용하여 생태학적 오류를 해결함으로써, 기존 표준 미세조정 방식보다 다양한 하위 작업에서 성능을 크게 향상시킬 수 있음을 입증했습니다.
🤖 Category
cs.LG
9324 편의 논문
A Persistent-State Dataflow Accelerator for Memory-Bound Linear Attention Decode on FPGA
이 논문은 FPGA 의 온칩 메모리에 GDN 의 재귀 상태를 영구적으로 유지하여 메모리 병목 현상을 해결하고, 데이터 흐름 파이프라이닝을 통해 GPU 대비 4.5 배 빠른 속도와 60 배 이상의 에너지 효율을 달성하는 선형 어텐션 디코딩 가속기를 제안합니다.
Implicit Style Conditioning: A Structured Style-Rewrite Framework for Low-Resource Character Modeling
이 논문은 데이터 부족과 스타일 분리 복잡성으로 인해 소규모 언어 모델의 역할극 성능이 제한되는 문제를 해결하기 위해, 어휘·구문·화용론적 스타일을 명시적으로 분리하고 추론 과정에서의 연쇄 사고 (CoT) 증류 기반의 암묵적 스타일 조건부 전략을 제안하여, 추론 시 추가 토큰 없이도 소비자용 하드웨어에서 대형 모델보다 뛰어난 스타일 일관성과 의미 충실도를 달성하는 효율적인 프레임워크를 제시합니다.
Who We Are, Where We Are: Mental Health at the Intersection of Person, Situation, and Large Language Models
이 논문은 개인적 성향과 상황적 맥락의 상호작용을 기반으로 한 이론적 프레임워크와 대규모 언어 모델을 결합하여, 해석 가능성과 예측 성능을 동시에 확보하는 동적 정신 건강 평가 모델을 개발하고 그 유효성을 입증합니다.
Omni-Masked Gradient Descent: Memory-Efficient Optimization via Mask Traversal with Improved Convergence
이 논문은 GPU 메모리 병목 현상을 해결하면서도 비볼록 환경에서 의 개선된 반복 복잡도를 보장하는 메모리 효율적 최적화 방법인 'Omni-Masked Gradient Descent (OMGD)'를 제안하고, 미세 조정 및 사전 학습 작업에서 기존 베이스라인보다 일관된 성능 향상을 입증합니다.
TADPO: Reinforcement Learning Goes Off-road
이 논문은 오프로드 주행의 긴 시간 범위와 낮은 보상 신호 문제를 해결하기 위해 제안된 TADPO 알고리즘을 통해 시뮬레이션 환경에서 학습된 RL 기반 제어 정책을 실제 전지형 차량에 제로샷으로 성공적으로 이전한 최초의 사례를 제시합니다.
EvoESAP: Non-Uniform Expert Pruning for Sparse MoE
이 논문은 고정된 전체 예산 하에서 각 레이어의 희소성 할당을 균일하지 않게 최적화하여 생성 성능을 크게 향상시키는 진화적 탐색 프레임워크인 EvoESAP 과 이를 위한 안정적 척도인 ESAP 을 제안합니다.
Preventing Learning Stagnation in PPO by Scaling to 1 Million Parallel Environments
이 논문은 PPO 의 학습 정체 문제를 해결하기 위해 100 만 개 이상의 병렬 환경을 확장하고 이를 위한 하이퍼파라미터 조정 레시피를 제안함으로써, 1 조 개의 전이를 거치며 성능이 지속적으로 향상되도록 함을 보여줍니다.
Agnostic learning in (almost) optimal time via Gaussian surface area
이 논문은 가우스 표면적 를 갖는 개념 클래스의 아노스틱 학습 복잡도를 기존 차수에서 차수로 개선하여 통계적 쿼리 모델에서 다항식 임계 함수 학습의 (거의) 최적 경계를 제시합니다.
Improved high-dimensional estimation with Langevin dynamics and stochastic weight averaging
이 논문은 노이즈 주입과 반복체 평균화를 결합하여 명시적인 평활화 없이도 텐서 PCA 및 단일 인덱스 모델에서 최적의 샘플 효율성 () 을 달성하는 랑주뱅 동역학 기반 고차원 추정 방법을 제안합니다.
TempoSyncDiff: Distilled Temporally-Consistent Diffusion for Low-Latency Audio-Driven Talking Head Generation
이 논문은 고도화된 교사-학생 증류 기법과 시간적 정규화를 통해 고해상도 얼굴 생성의 지연 시간과 불안정성을 해결하고 엣지 환경에서도 실시간으로 작동 가능한 효율적인 오디오 기반 대화형 얼굴 생성 프레임워크 'TempoSyncDiff'를 제안합니다.
Latent Diffusion-Based 3D Molecular Recovery from Vibrational Spectra
이 논문은 적외선 (IR) 스펙트럼에서 3 차원 분자 기하구조를 복원하기 위해 스펙트럼 정보를 분자 구조의 노드와 엣지 표현에 통합한 잠재 확산 모델 'IR-GeoDiff'를 제안하고, 이 모델이 주어진 스펙트럼에 대응하는 분자 분포를 성공적으로 복원하며 화학적 해석과 일치하는 기능기 영역에 주의를 기울일 수 있음을 입증합니다.
Dynamic Momentum Recalibration in Online Gradient Learning
이 논문은 고정된 모멘텀 계수의 한계를 극복하기 위해 최적 선형 필터링 원리를 기반으로 온라인 가중치를 동적으로 조정하여 노이즈 억제와 신호 보존 사이의 최적 균형을 달성하는 새로운 옵티마이저 'SGDF'를 제안하고, 이를 통해 기존 모멘텀 기반 방법론을 능가하는 성능을 입증합니다.
Diffusion Language Models Are Natively Length-Aware
이 논문은 Diffusion 언어 모델이 고정된 길이로 생성되는 비효율성을 해결하기 위해, 잠재 프롬프트 표현을 기반으로 필요한 출력 길이를 추정하여 생성 전 컨텍스트 창을 동적으로 잘라냄으로써 연산 비용을 대폭 절감하면서도 성능을 유지하거나 향상시키는 제로샷 메커니즘을 제안합니다.
DQE: A Semantic-Aware Evaluation Metric for Time Series Anomaly Detection
이 논문은 기존 시계열 이상 탐지 평가 지표의 한계를 극복하고, 탐지 의미론에 기반한 파티셔닝 전략과 전체 임계값 스펙트럼을 고려한 새로운 메트릭인 DQE 를 제안하여 보다 안정적이고 해석 가능한 평가를 가능하게 합니다.
Partial Policy Gradients for RL in LLMs
이 논문은 미래 보상의 부분 집합을 최적화하여 더 정확한 기울기 추정을 가능하게 하는 '부분 정책 경사 (Partial Policy Gradients)' 방법을 제안하고, 이를 다양한 대화 정렬 문제에서 다양한 정책 클래스 (전체 계획, 탐욕적, K-스텝 룩어헤드 등) 의 성능 비교를 통해 검증합니다.
Predictive Coding Graphs are a Superset of Feedforward Neural Networks
이 논문은 뇌과학에서 영감을 받은 확률적 잠재 변수 모델인 예측 코딩 그래프 (PCG) 가 다층 퍼셉트론을 포함하는 수학적 초집합임을 증명하여, 예측 코딩 네트워크를 현대 기계학습의 맥락에 더 강력하게 위치시키고 신경망 위상학 연구의 중요성을 재확인합니다.
Ensemble Graph Neural Networks for Probabilistic Sea Surface Temperature Forecasting via Input Perturbations
이 논문은 입력 상태에 공간적 일관성을 가진 노이즈 (예: Perlin 노이즈) 를 가하는 앙상블 학습 전략을 통해 추가적인 학습 비용 없이 해상도 표면 온도 확률 예보의 보정 성능을 향상시키는 그래프 신경망 (GNN) 기반 방법을 제안하고 그 유효성을 입증합니다.
Efficient Vector Search in the Wild: One Model for Multi-K Queries
이 논문은 다양한 K 값의 벡터 검색 쿼리에 대해 높은 정확도와 성능을 유지하면서도 전처리 비용을 크게 절감하는 새로운 학습 기반 검색 방법인 OMEGA 를 제안합니다.
Contrastive-to-Self-Supervised: A Two-Stage Framework for Script Similarity Learning
이 논문은 인공 알파벳의 레이블된 데이터를 기반으로 한 대비 학습으로 교사를 훈련한 후, 역사적 문자 체계에 대한 비지도 지식 증류를 적용하여 지도 학습과 비지도 발견을 연결하는 2 단계 프레임워크를 제안하여, 진화적 관계에 대한 정답이 없어도 글자 인식과 문자 군집화를 효과적으로 수행할 수 있음을 보여줍니다.