Measuring Complexity at the Requirements Stage: Spectral Metrics as Development Effort Predictors
이 논문은 자연어 처리를 통해 요구사항에서 추출한 구조적 네트워크의 스펙트럼 지표가 통합 노력과 0.95 이상의 높은 상관관계를 보임으로써, 요구사항 단계의 복잡성이 개발 비용과 일정에 미치는 영향을 예측하는 유효한 지표임을 입증합니다.
💬 Category
cs.CL
1071 편의 논문
Listen to the Layers: Mitigating Hallucinations with Inter-Layer Disagreement
이 논문은 사전 훈련된 대규모 언어 모델의 환각 현상을 완화하기 위해 모델의 내부 계층 간 불일치를 감지하여 추론 시 사실성을 높이는 새로운 훈련 없는 디코딩 알고리즘인 'CoCoA'를 제안하고 다양한 작업에서 그 유효성을 입증합니다.
Neuro-Symbolic Synergy for Interactive World Modeling
이 논문은 LLM 의 의미적 표현력과 기호적 세계 모델의 논리적 일관성을 결합하여 할루시네이션을 줄이고 데이터 효율성을 높이는 '뉴로-심볼릭 시너지 (NeSyS)' 프레임워크를 제안하며, 다양한 상호작용 환경에서 기존 방법보다 뛰어난 성능을 입증했습니다.
Learning Page Order in Shuffled WOO Releases
이 논문은 네덜란드 정보공개 문서를 대상으로 페이지 순서 복원 연구를 수행하여, 시퀀스 2 시퀀스 트랜스포머가 긴 문서에서 일반화 실패를 보인 반면, 모델 특화 전략이 긴 문서의 순서 재배열 성능을 크게 향상시켰음을 밝혔습니다.
Discovering Semantic Latent Structures in Psychological Scales: A Response-Free Pathway to Efficient Simplification
이 논문은 기존 응답 기반 방법의 한계를 보완하기 위해 문맥 임베딩과 토픽 모델링을 활용한 응답 없는 심리 척도 간소화 프레임워크를 제안하며, 이를 통해 척도 길이를 평균 60.5% 단축하면서도 원래의 심리측정적 특성과 구조를 효과적으로 유지할 수 있음을 실증했습니다.
Towards interpretable models for language proficiency assessment: Predicting the CEFR level of Estonian learner texts
이 논문은 다양한 언어적 특성을 선별하여 에스토니아어 학습자 텍스트의 CEFR 등급을 약 90%의 정확도로 예측하고 해석 가능한 모델을 구축함으로써, 에스토니아어 학습 환경의 자동 평가 시스템 개발에 기여한 연구 결과를 요약합니다.
A Geometric Taxonomy of Hallucinations in LLMs
이 논문은 LLM 의 환각 현상을 무신실성, 허구적 생성, 사실적 오류라는 세 가지 기하학적 유형으로 분류하고, 이를 기반으로 문맥 기반 및 문맥 없는 설정에서 각각의 오류를 탐지하는 새로운 지수 (SGI, DGI) 를 제안하며 TruthfulQA 와 같은 기존 벤치마크의 한계를 지적합니다.
Why Code, Why Now: Learnability, Computability, and the Real Limits of Machine Learning
이 논문은 코드가 강화학습보다 학습 가능한 정보 구조를 가지고 있어 예측 가능한 확장이 가능한 반면, 대부분의 강화학습 문제는 피드백의 질적 차이로 인해 단순한 모델 크기 확장에 한계가 있음을 지적하며, 표현 가능성·계산 가능성·학습 가능성의 세 가지 속성 간 관계를 규명하는 5 단계 학습 가능성 계층 구조를 제안합니다.
Explainable Token-level Noise Filtering for LLM Fine-tuning Datasets
이 논문은 문장 단위로 설계된 파인튜닝 데이터셋의 토큰 단위 노이즈를 '추론 중요도', '지식 신규성', '작업 관련성'이라는 세 가지 속성으로 분해하여 설명 가능한 필터링 프레임워크인 XTF 를 제안하고, 이를 통해 다양한 LLM 의 하위 작업 성능을 최대 13.7% 까지 향상시킨다는 것을 증명합니다.
Understand Then Memory: A Cognitive Gist-Driven RAG Framework with Global Semantic Diffusion
이 논문은 인간의 에피소드 기억 메커니즘에서 영감을 받아 의미적 요점 (Semantic Gist) 추출과 글로벌 의미 확산을 통해 복잡한 지식 통합 및 추론 능력을 획기적으로 향상시킨 새로운 RAG 프레임워크인 'CogitoRAG'를 제안하고 그 우수성을 입증합니다.
Emotion Collider: Dual Hyperbolic Mirror Manifolds for Sentiment Recovery via Anti Emotion Reflection
이 논문은 쌍곡선 공간의 계층적 기하학과 하이퍼그래프 융합 메커니즘을 결합한 'Emotion Collider(EC-Net)'를 제안하여, 노이즈나 일부 모달리티가 결여된 상황에서도 강인하고 일관된 감정 표현을 학습하고 분류 정확도를 향상시킨다는 것을 보여줍니다.
ModalImmune: Immunity Driven Unlearning via Self Destructive Training
이 논문은 학습 중 의도적으로 특정 모달리티 정보를 붕괴시켜 다중 모달 시스템이 입력 채널의 손실이나 손상에도 견고한 표현을 학습하도록 하는 'ModalImmune' 프레임워크를 제안하고, 다양한 벤치마크에서 모달리티 제거 및 손상 상황에 대한 복원력과 안정성을 입증합니다.
Condition-Gated Reasoning for Context-Dependent Biomedical Question Answering
이 논문은 환자 상태에 따라 답변이 달라지는 조건부 추론을 평가하기 위한 새로운 벤치마크 'CondMedQA'와 조건에 따라 지식 그래프의 추론 경로를 선택적으로 활성화하거나 제거하는 '조건 게이트 추론 (CGR)' 프레임워크를 제안하여, 의료적 추론의 견고성을 높이는 방법을 제시합니다.
MrBERT: Modern Multilingual Encoders via Vocabulary, Domain, and Dimensional Adaptation
이 논문은 35 개 언어와 코드를 기반으로 현대적 아키텍처를 적용하고 Matryoshka 표현 학습을 통해 효율성을 높인 MrBERT 라는 다국어 인코더 모델 계열을 소개하며, 카탈로니아어 및 스페인어 특화 작업과 의료·법률 같은 전문 분야에서 최첨단 성능을 달성했다고 요약할 수 있습니다.
CeRA: Breaking the Linear Ceiling of Low-Rank Adaptation via Manifold Expansion
이 논문은 저랭크 적응 (LoRA) 의 선형적 한계를 극복하기 위해 시LU 게이팅과 구조적 드롭아웃을 도입하여 매니폴드 확장을 유도하는 CeRA 를 제안하며, 이를 통해 낮은 랭크에서도 LoRA 보다 뛰어난 성능과 스펙트럼 효율성을 달성함을 보여줍니다.
KVSlimmer: Theoretical Insights and Practical Optimizations for Asymmetric KV Merging
본 논문은 KV 캐시의 비대칭성을 스펙트럼 에너지 분포로 이론적으로 규명하고, 이를 바탕으로 경사도 없이 정확한 헤시안 정보를 활용하는 폐쇄형 해법을 제시하여 메모리 및 지연 시간을 획기적으로 줄이면서도 SOTA 보다 우수한 성능을 달성하는 'KVSlimmer' 알고리즘을 제안합니다.
Conformal Prediction for Risk-Controlled Medical Entity Extraction Across Clinical Domains
이 논문은 의료 문서의 구조적 특성에 따라 LLM 의 불확실성 보정 방향이 달라지므로, 임상적 안전성을 보장하기 위해 도메인별 맞춤형 공분적 예측 (Conformal Prediction) 프레임워크가 필요함을 FDA 약물 라벨과 MIMIC-CXR 보고서 실험을 통해 입증합니다.
CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation
이 논문은 LLM 평가에서 발생하는 체계적인 편향을 제거하면서도 단일 평가자 방식과 동일한 비용으로 최적의 편향 완화 전략인 'CyclicJudge'(라운드 로빈 방식의 평가자 할당) 를 제안하고 MT-Bench 와 MindEval 을 통해 그 유효성을 입증합니다.
PrivMedChat: End-to-End Differentially Private RLHF for Medical Dialogue Systems
이 논문은 민감한 의료 대화 데이터를 활용하면서도 차별적 프라이버시를 보장하기 위해 감독 미세 조정, 보상 모델 학습, 정책 최적화 단계를 모두 차분적 프라이버시 (DP) 로 보호하고 전문가 라벨링 없이 선호도 데이터를 구축하는 'PrivMedChat'이라는 종단간 DP-RLHF 프레임워크를 제안합니다.
No Memorization, No Detection: Output Distribution-Based Contamination Detection in Small Language Models
이 논문은 작은 언어 모델 (70M~410M 파라미터) 에서 데이터 오염을 탐지하기 위해 출력 분포의 뾰족함을 측정하는 CDD 방법이 단순한 확률 기반 방법 (Perplexity, Min-k% Prob) 보다 성능이 낮으며, 미세 조정으로 인한 암기 발생 여부에 따라 탐지 성공 여부가 결정됨을 보여줍니다.