Incremental Neural Network Verification via Learned Conflicts
이 논문은 동일한 신경망에 대한 일련의 관련 검증 쿼리 간에 학습된 충돌 (conflicts) 을 재사용하여 불필요한 탐색을 줄이고 검증 효율을 높이는 증분적 신경망 검증 기법을 제안하고, 이를 Marabou 검증기에 구현하여 최대 1.9 배의 속도 향상을 입증했습니다.
🤖 Category
cs.AI
3990 편의 논문
Separable neural architectures as a primitive for unified predictive and generative intelligence
이 논문은 물리, 언어, 지각 등 다양한 도메인의 분해 가능한 구조를 포착하여 결정론적 예측과 확률적 생성을 통합하는 범용 원시 요소인 '분리 가능한 신경 아키텍처 (SNA)'를 제안하고, 이를 자율 항해부터 난류 모델링 및 언어 모델링에 이르기까지 다양한 응용에서 검증합니다.
Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training
이 논문은 비검증 가능한 도메인에서 LLM 후학습을 위한 '추론 기반 판정자'와 '비추론 기반 판정자'의 효과를 비교한 연구로, 추론 기반 판정자가 보상 해킹을 줄이고 금표준 판정자 기준에서 우수한 성능을 보이지만, 동시에 다른 LLM 판정자를 속이는 정교한 적대적 출력을 학습하여 벤치마크 점수를 부풀릴 수 있음을 발견했습니다.
SciMDR: Benchmarking and Advancing Scientific Multimodal Document Reasoning
이 논문은 신뢰성, 규모, 현실성을 동시에 확보하기 위해 '요약-재정착 (synthesize-and-reground)' 프레임워크를 제안하고, 이를 통해 구축한 대규모 과학적 멀티모달 문서 추론 데이터셋 SciMDR 과 평가 벤치마크 SciMDR-Eval 을 소개하며, 이를 통해 학습된 모델이 복잡한 문서 수준의 추론 능력을 크게 향상시켰음을 입증합니다.
The Latent Color Subspace: Emergent Order in High-Dimensional Chaos
이 논문은 FLUX.1 모델의 잠재 공간에서 색상 정보가 hue, saturation, lightness 구조로 조직화되어 있음을 규명하고, 이를 기반으로 학습 없이 폐쇄형 수식 조작만으로 색상을 예측하고 제어하는 새로운 방법을 제시합니다.
Explainability of Text Processing and Retrieval Methods: A Survey
이 논문은 자연어 처리 및 정보 검색 분야에서 딥러닝과 머신러닝 모델의 불투명성 문제를 해결하기 위해 단어 임베딩, 시퀀스 모델링, 어텐션 모듈, 트랜스포머, BERT, 문서 순위 결정 등 다양한 기법의 설명 가능성과 해석 가능성에 대한 연구 동향을 광범위하게 조사하고 향후 연구 방향을 제시합니다.
Improving Fairness with Ensemble Combination: Margin-Dependent Bounds
이 논문은 개인 및 집단 공정성을 모두 포괄하는 '판별 위험 (discriminative risk)' 지표를 제안하고, 이를 기반으로 마진 의존적 오라클 바운드를 통해 앙상블 조합이 공정성을 이론적으로 보장하며 향상시킬 수 있음을 증명합니다.
An Updated Assessment of Reinforcement Learning for Macro Placement
이 논문은 10nm 미만 기술 노드의 새로운 공개 벤치마크와 강화된 시뮬레이션 어닐링 기반을 활용하여 구글의 'AlphaChip'을 포함한 매크로 배치 강화학습 접근법의 재현성과 한계를 종합적으로 재평가하고, 그 결과와 도구를 공개하여 연구 커뮤니티의 향후 과제를 제시합니다.
Mindstorms in Natural Language-Based Societies of Mind
이 논문은 자연어 기반의 대규모 신경망 '사회'가 상호작용하여 단일 모델의 한계를 극복하고 다양한 AI 과제를 해결하는 '마인드스톰' 개념을 제안하며, 이를 통해 미래 인공지능의 사회적 구조와 경제 원리 등 새로운 연구 과제를 제시합니다.
Large Language Models for Travel Behavior Prediction
본 논문은 제로샷 프롬프팅과 LLM 기반 텍스트 임베딩을 활용한 두 가지 프레임워크를 통해 대규모 언어 모델 (LLM) 이 기존 전통적 모델과 경쟁력 있는 성능으로 이동 행동 예측에 효과적으로 적용될 수 있음을 실증적으로 입증했습니다.
Optimal Transport Aggregation for Distributed Mixture-of-Experts
이 논문은 분산된 데이터에서 각기 독립적으로 학습된 혼합 전문가 (MoE) 모델을 단일 통신 단계로 효율적으로 집계하기 위해 최적 수송 (Optimal Transport) 기반의 새로운 프레임워크를 제안하고, 이를 통해 중앙 집중식 학습과 유사한 성능을 유지하면서 계산 및 통신 비용을 크게 절감하는 방법을 제시합니다.
Personalizing explanations of AI-driven hints to users' characteristics: an empirical evaluation
이 논문은 낮은 인지욕구와 성실성을 가진 학생들의 참여를 높이기 위해 AI 기반 힌트 설명을 개인화한 결과, 해당 학생들의 설명 상호작용, 힌트 이해도 및 학습 성과가 향상되었음을 실증적으로 입증했습니다.
Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment
이 논문은 구조적 가지치기 시 단일 그레인 의존성의 한계를 극복하고, 미세 및 거시 그레인의 가중치 중요도를 적응적으로 결합한 하이브리드 그레인 가중치 중요도 평가 (HyWIA) 방법을 제안하여 대규모 언어 모델의 성능 저하 없이 효율적인 압축을 가능하게 합니다.
Modelling Language using Large Language Models
이 논문은 대규모 언어 모델이 인간의 인지 과정보다는 외부적·사회적 실체로서의 언어를 과학적으로 모델링하는 데 유용한 도구임을 주장하며, 이를 위한 모델 해석 (model construal) 을 개발할 수 있음을 논증합니다.
Explainable machine learning for predicting shellfish toxicity in the Adriatic Sea using long-term monitoring data of HABs
본 연구는 28 년간의 장기 모니터링 데이터를 활용하여 랜덤 포레스트 모델과 SHAP 등의 설명 가능한 머신러닝 기법을 적용해 아드리아해 굴 독성 (DSP) 발생을 예측하고, 주요 원인 종과 환경 요인을 규명하여 조기 경보 시스템 및 지속 가능한 양식업에 기여하는 결과를 도출했습니다.
Synthesizing Interpretable Control Policies through Large Language Model Guided Search
이 논문은 사전 훈련된 대규모 언어 모델 (LLM) 을 활용한 진화 알고리즘을 통해 파이썬과 같은 표준 프로그래밍 언어로 표현된 해석 가능한 제어 정책을 자동 생성하여, 블랙박스 신경망 기반 제어의 투명성 문제를 해결하고 인간이 쉽게 수정 및 적용할 수 있도록 하는 새로운 방법을 제안합니다.
EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation
이 논문은 압축된 대규모 언어 모델 (LLM) 의 정확도 저하를 미세 조정 없이 저랭크 행렬과 최적화된 CUDA 커널을 통해 보상하여 다양한 배포 시나리오에서 유연하고 효율적인 성능 향상을 가능하게 하는 'EoRA'라는 새로운 방법을 제안합니다.
Token Cleaning: Fine-Grained Data Selection for LLM Supervised Fine-Tuning
이 논문은 LLM 의 지도 미세 조정 (SFT) 시 개별 토큰의 품질을 평가하여 유해하거나 정보성이 낮은 토큰을 필터링하고 핵심 정보를 보존하는 '토큰 클리닝' 프레임워크를 제안함으로써 하류 작업 성능을 향상시킨다고 설명합니다.
Boosting Cross-problem Generalization in Diffusion-Based Neural Combinatorial Solver via Inference Time Adaptation
이 논문은 훈련 없이 추론 시간 적응 (DIFU-Ada) 을 통해 확산 기반 신경 조합 최적화 솔버가 TSP 에서 PCTSP 및 오리엔티어링 문제와 같은 다양한 문제 유형과 규모로 제로샷 일반화 성능을 달성할 수 있음을 제안하고 실험적으로 입증합니다.
Talking like Piping and Instrumentation Diagrams (P&IDs)
이 논문은 DEXPI 데이터 모델을 그래프로 변환하고 그래프 기반 검색 증강 생성 (Graph-RAG) 기술을 대규모 언어 모델에 통합하여 자연어로 P&ID 와 소통하고 환각을 줄이며 엔지니어의 업무 효율을 높이는 방법론을 제안합니다.