Safe Transformer: An Explicit Safety Bit For Interpretable And Controllable Alignment
이 논문은 사전 훈련된 언어 모델의 레이어 사이에 명시적인 안전 비트를 삽입하여 모델의 안전 판단을 해석 가능하고 제어 가능하게 만들며, 경량 미세 조정을 통해 공격 성공률을 극도로 낮추는 'Safe Transformer' 아키텍처를 제안합니다.
🤖 Category
cs.LG
11334 편의 논문
Orion: Characterizing and Programming Apple's Neural Engine for LLM Training and Inference
이 논문은 CoreML 을 우회하여 애플의 신경 엔진 (ANE) 을 직접 제어하고, 컴파일 재구성을 최적화하며 LoRA 어댑터를 지원하는 'Orion'이라는 오픈 소스 시스템을 통해 애플 기기에서 대규모 언어 모델의 온디바이스 학습과 추론을 가능하게 했음을 제시합니다.
Don't Freeze, Don't Crash: Extending the Safe Operating Range of Neural Navigation in Dense Crowds
이 논문은 밀도 불변 관찰 인코딩, 밀도 무작위화 훈련, 물리 기반 보상 설계 등을 통해 학습 기반 군중 내비게이션이 훈련 데이터 범위를 벗어난 고밀도 환경에서도 동결이나 충돌 없이 목표 지점에 도달할 수 있도록 하는 강화 학습 접근법을 제안합니다.
PolyBlocks: A Compiler Infrastructure for AI Chips and Programming Frameworks
이 논문은 MLIR 기반의 모듈형 컴파일러 인프라인 PolyBlocks 를 제안하여, 분석적 비용 모델과 휴리스틱을 활용한 자동 최적화를 통해 PyTorch 와 JAX 에서 Torch Inductor 나 XLA 와 경쟁력 있는 성능을 달성하고 새로운 AI 칩으로의 이식을 용이하게 한다는 내용을 담고 있습니다.
Calibrated Credit Intelligence: Shift-Robust and Fair Risk Scoring with Bayesian Uncertainty and Gradient Boosting
이 논문은 베이지안 신경망, 공정성 제약이 적용된 그래디언트 부스팅, 그리고 시프트 인식 융합 전략을 결합하여 데이터 분포 변화와 공정성 요구사항 하에서도 신뢰할 수 있는 신용 위험 점수를 산출하는 '보정된 신용 지능 (CCI)' 프레임워크를 제안하고, 이를 통해 기존 모델 대비 우수한 판별력, 보정 정확도, 안정성 및 공정성을 입증합니다.
Rank-Factorized Implicit Neural Bias: Scaling Super-Resolution Transformer with FlashAttention
이 논문은 FlashAttention 을 활용하여 초해상도 Transformer 의 확장성을 가능하게 하는 랭크 분해 암시적 신경 편향 (RIB) 을 제안하고, 이를 통해 기존 방법 대비 훈련 및 추론 시간을 획기적으로 단축하면서도 Urban100 데이터셋에서 35.63dB 의 높은 PSNR 성능을 달성했습니다.
Heterogeneous Decentralized Diffusion Models
이 논문은 서로 다른 학습 목표 (DDPM 및 Flow Matching) 를 가진 전문가들을 동기화 없이 통합하고, 사전 학습된 체크포인트 변환과 효율적인 아키텍처를 통해 기존 분산 확산 모델 대비 연산 및 데이터 요구량을 획기적으로 줄이면서도 더 우수한 생성 품질을 달성하는 이질적 분산 확산 모델 프레임워크를 제안합니다.
Improved Constrained Generation by Bridging Pretrained Generative Models
이 논문은 로봇 제어 및 자율 주행과 같은 복잡한 제약 조건 하에서 현실감을 유지하면서 사전 훈련된 생성 모델을 미세 조정하여 해당 제약 영역 내에서 직접 샘플을 생성하는 새로운 프레임워크를 제안합니다.
Stabilizing Reinforcement Learning for Diffusion Language Models
이 논문은 확산 언어 모델 (dLLMs) 에 적용 시 발생하는 보상 붕괴 문제를 해결하기 위해, 중요도 비율 추정의 노이즈로 인한 불안정성을 억제하고 dLLM 에 최적화된 안정적 강화 학습 알고리즘인 StableDRL 을 제안합니다.
Enhancing Instruction Following of LLMs via Activation Steering with Dynamic Rejection
이 논문은 과도한 조향으로 인한 품질 저하를 방지하기 위해 가중치 조정과 가능성 기반 디코딩 루프를 결합하여 동적으로 조향 강도를 조절하는 새로운 방법인 DIRECTER 를 제안함으로써 대규모 언어 모델의 지시 따르기 능력을 향상시킵니다.
Property-driven Protein Inverse Folding With Multi-Objective Preference Alignment
이 논문은 구조적 충실도를 유지하면서 용해도와 열안정성 등 다양한 개발성 속성을 동시에 만족시키기 위해 사전 학습된 역접힘 모델을 다목적 선호도 정렬 (ProtAlign) 프레임워크로 미세 조정하는 새로운 방법을 제시합니다.
Latent Autoencoder Ensemble Kalman Filter for Data assimilation
이 논문은 비선형 역학 시스템에서 데이터 동화의 성능을 향상시키기 위해, 학습된 잠재 공간 내에서 선형적이고 안정적인 역학을 갖는 오토인코더 기반 앙상블 칼만 필터 (LAE-EnKF) 를 제안하고 그 이론적 근거와 수치적 유효성을 입증합니다.
Implementation of Quantum Implicit Neural Representation in Deterministic and Probabilistic Autoencoders for Image Reconstruction/Generation Tasks
이 논문은 양자 암시적 신경 표현 (QINR) 을 디코더에 통합한 하이브리드 오토인코더 및 변이형 오토인코더를 제안하여, 제한된 파라미터와 데이터로도 MNIST 등 다양한 데이터셋에서 고주파 특징이 풍부한 선명한 이미지 재구성과 생성이 가능하며 기존 양생성 모델보다 안정적이고 다양성이 높음을 입증합니다.
Learning Unbiased Cluster Descriptors for Interpretable Imbalanced Concept Drift Detection
이 논문은 불균형 데이터에서 소규모 개념의 드리프트를 대규로 개념의 영향으로부터 독립적으로 탐지하고 해석할 수 있도록 설계된 '불균형 클러스터 기술자 기반 드리프트 탐지 (ICD3)' 방법을 제안합니다.
Enhancing SHAP Explainability for Diagnostic and Prognostic ML Models in Alzheimer Disease
이 논문은 알츠하이머병 진단 및 예후를 위한 머신러닝 모델의 SHAP 설명이 질병 단계와 모델 아키텍처에 걸쳐 일관되고 안정적임을 NACC 데이터셋 기반 실험을 통해 입증함으로써, 임상 현장에서의 신뢰할 수 있는 해석을 가능하게 하는 다단계 설명 가능성 프레임워크를 제안합니다.
Diversity-Aware Adaptive Collocation for Physics-Informed Neural Networks via Sparse QUBO Optimization and Hybrid Coresets
이 논문은 PDE 잔차 기반 중요도와 공간적 다양성을 동시에 고려하여 QUBO 최적화와 희소 그래프 기반 하이브리드 코어셋을 통해 물리 정보 신경망 (PINN) 의 콜로케이션 점 선택을 최적화하고, 기존 방법 대비 선택 오버헤드를 줄이면서 정확도를 향상시키는 새로운 방법을 제안합니다.
Prediction of Steady-State Flow through Porous Media Using Machine Learning Models
이 논문은 다공성 매체 내 정상류 예측을 위해 물리 정보 손실 함수를 통합한 머신러닝 프레임워크를 개발하고, CFD 대비 최대 1000 배의 속도 향상과 0.0017 의 낮은 평균 제곱 오차를 달성한 Fourier Neural Operator(FNO) 가 최적의 모델임을 입증했습니다.
Metalearning traffic assignment for network disruptions with graph convolutional neural networks
이 논문은 그래프 합성곱 신경망과 메타러닝 아키텍처를 결합하여 도로 네트워크 구조 변화 및 수요 패턴 변동이 동시에 발생하는 미지의 교통 혼란 상황에서도 신속하게 적응하고 높은 예측 정확도 (R² 약 0.85) 를 달성하는 교통 배정 모델을 제안합니다.
Failure Detection in Chemical Processes using Symbolic Machine Learning: A Case Study on Ethylene Oxidation
이 논문은 안전이 중요한 화학 공정 분야에서 설명 가능성과 해석 가능성이 부족하며 실제 고장 데이터가 희소한 기존 AI 의 한계를 극복하기 위해, 에틸렌 산화 공정을 사례로 상징적 기계 학습을 활용하여 고장을 예측하고 해석 가능한 규칙 기반 모델을 생성하는 방법을 제안합니다.
Gauge Freedom and Metric Dependence in Neural Representation Spaces
이 논문은 신경망 표현 공간이 가역적 선형 변환에 대한 게이지 자유도를 가지므로 코사인 유사도 등 기존 유사도 측정치가 좌표계 선택에 따라 달라질 수 있음을 보여주고, 이에 따라 표현 분석은 게이지 불변량을 사용하거나 명시적인 표준 좌표를 설정해야 함을 주장합니다.