Modelling the Diachronic Emergence of Phoneme Frequency Distributions
이 논문은 기능적 부하와 선호되는 음소 수에 대한 안정화 경향이라는 두 가지 가정을 포함한 확률적 모델을 통해, 음소 빈도 분포의 통계적 규칙성이 최적화 메커니즘이 아닌 역사적 음운 변화의 자연스러운 결과로 나타날 수 있음을 보여줍니다.
💬 Category
cs.CL
1071 편의 논문
You Didn't Have to Say It like That: Subliminal Learning from Faithful Paraphrases
이 논문은 언어 모델이 의미적 무관성이나 명시적 반대 내용에도 불구하고, 교차 모델이 생성한 충실한 의역 데이터를 통해 특정 동물에 대한 선호도 같은 행동 특성을 은밀하게 학습할 수 있음을 보여주어, 콘텐츠 기반 검사만으로는 이러한 전파를 탐지하거나 차단하기 어렵다는 위험을 제기합니다.
Enhancing Debunking Effectiveness through LLM-based Personality Adaptation
이 논문은 빅 5 성격 특성에 기반한 프롬프트를 통해 대형 언어 모델 (LLM) 이 가짜 뉴스에 대한 맞춤형 debunking 메시지를 생성하고, 또 다른 LLM 을 자동 평가자로 활용해 일반적 메시지보다 설득력이 높음을 입증하는 동시에 윤리적 문제도 제기합니다.
ALARM: Audio-Language Alignment for Reasoning Models
이 논문은 추론 언어 모델 (RLM) 의 체인 오브 씽킹 (Chain-of-Thought) 특성을 고려한 '자기 재표현 (self-rephrasing)' 기법과 다중 오디오 인코더 융합을 통해, 600 만 개의 멀티태스크 데이터로 학습된 40 억 파라미터 규모의 오디오 - 언어 정렬 모델 (ALM) 을 제안하며, 이는 오픈소스 모델 중 MMAU-speech 및 MMSU 벤치마크에서 최상위 성능을 기록했다고 요약할 수 있습니다.
Build, Borrow, or Just Fine-Tune? A Political Scientist's Guide to Choosing NLP Models
이 논문은 정치학자들이 자연어 처리 모델을 구축, 차용, 또는 미세 조정할 때 연구 질문의 특성 (클래스 빈도, 오류 허용 범위, 자원) 에 따라 최적의 접근 방식을 선택할 수 있도록, 일반 목적 모델의 미세 조정 (Confli-mBERT) 이 희귀 사건을 제외하고는 도메인 특화 모델 (ConfliBERT) 과 유사한 성능을 보인다는 실증적 근거와 실천적 의사결정 프레임워크를 제시합니다.
Surgical Repair of Collapsed Attention Heads in ALiBi Transformers
이 논문은 ALiBi 위치 인코딩으로 인해 BLOOM 모델의 어텐션 헤드가 무너지는 현상을 발견하고, 이를 표적 재초기화 기법으로 수술적으로 복구하여 모델 성능을 획기적으로 개선하는 방법을 제시합니다.
X-GS: An Extensible Open Framework Unifying 3DGS Architectures with Downstream Multimodal Models
이 논문은 실시간 3D 가우스 스플래팅 (3DGS) 기반 온라인 SLAM 과 의미론적 정보를 통합하여 비정렬 영상 입력을 처리하고, 이를 통해 객체 감지 및 제로샷 캡션 생성과 같은 다운스트림 멀티모달 작업을 가능하게 하는 확장 가능한 오픈 프레임워크인 X-GS 를 제안합니다.
Tracking Cancer Through Text: Longitudinal Extraction From Radiology Reports Using Open-Source Large Language Models
이 논문은 RECIST 기준에 따라 종양 부하 및 치료 반응을 추적하기 위해 오픈소스 LLM 기반의 로컬 배포 파이프라인을 개발하고, 네덜란드 CT 보고서에서 높은 정확도로 종양 병변 정보를 추출하는 것을 입증했습니다.
Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025
이 키노트 연설은 ECIR 2025 에서 사전 학습된 파라미터 지식과 검색된 맥락 지식 간의 상호작용, 특히 두 지식 간의 충돌과 맥락 활용 실패 원인을 진단하고 해결하기 위한 연구 결과를 다룹니다.
Automatic Cardiac Risk Management Classification using large-context Electronic Patients Health Records
본 논문은 3,482 명의 노인 환자 데이터를 활용하여 비구조화된 전자의무기록 (EHR) 을 기반으로 심혈관 위험을 자동 분류하는 프레임워크를 제안하고, 기존 기계학습 및 생성형 LLM 보다 장기 의존성을 포착하는 맞춤형 트랜스포머 아키텍처가 가장 우수한 성능을 보임을 입증했습니다.
Fusing Semantic, Lexical, and Domain Perspectives for Recipe Similarity Estimation
이 논문은 재료, 조리법, 영양소 정보를 결합하여 시맨틱, 어휘, 도메인 관점에서 요리 유사성을 평가하고 전문가 검증을 통해 의사결정에 가장 영향력 있는 요소를 규명함으로써 개인화 식단 및 자동 조리법 생성 시스템 개발에 기여하는 방법을 제시합니다.
ESAinsTOD: A Unified End-to-End Schema-Aware Instruction-Tuning Framework for Task-Oriented Dialog Modeling
이 논문은 다양한 대화 시나리오와 데이터셋에 유연하게 적응할 수 있도록 지시 및 스키마 정렬 메커니즘을 도입한 통합 엔드투엔드 스키마 인식 지시 튜닝 프레임워크인 ESAinsTOD 를 제안하여, 기존 최첨단 모델보다 뛰어난 성능과 저자원 환경에서의 일반화 능력을 입증합니다.
ActiveUltraFeedback: Efficient Preference Data Generation using Active Learning
이 논문은 RLHF 의 비용 문제를 해결하기 위해 불확실성 추정과 새로운 샘플링 기법을 활용한 'ActiveUltraFeedback'이라는 능동 학습 파이프라인을 제안하며, 기존 방법보다 적은 양의 주석 데이터로도 동등하거나 더 우수한 성능을 달성함을 보여줍니다.
Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning
이 논문은 Muon 최적화기의 등방성 가정이 비등방적인 곡률 스펙트럼을 가진 심층 신경망에 부적합하다는 점을 지적하고, Shampoo 의 구조적 추정치를 활용한 화이트닝 좌표계에서 편광 분해를 통해 등방성 제약과 기하학적 적응성을 조화시킨 새로운 최적화 알고리즘 'Mousse'를 제안하여 160M~800M 파라미터 규모의 언어 모델에서 학습 단계를 약 12% 단축하고 성능을 향상시켰음을 보여줍니다.
Evaluation of LLMs in retrieving food and nutritional context for RAG systems
이 논문은 자연어 쿼리를 메타데이터 필터로 변환하는 LLM 기반 RAG 시스템이 식품 영양 데이터 검색에서 높은 성능을 보이지만, 메타데이터 표현 범위를 초과하는 복잡한 제약 조건이 포함된 질문에서는 신뢰할 수 있는 검색에 한계가 있음을 평가했습니다.
MUGEN: Evaluating and Improving Multi-audio Understanding of Large Audio-Language Models
이 논문은 다중 오디오 이해 능력이 부족한 대규모 오디오 - 언어 모델을 평가하기 위한 'MUGEN' 벤치마크를 제안하고, 오디오 입력 순서를 다양화하는 '오디오 순열 자기 일관성' 전략과 사고 연쇄 기법을 결합하여 성능을 유의미하게 향상시킬 수 있음을 보여줍니다.
RbtAct: Rebuttal as Supervision for Actionable Review Feedback Generation
이 논문은 논문 저자의 반박 (rebuttal) 을 암시적 지도 신호로 활용하여 구체적이고 실행 가능한 리뷰 피드백을 생성하는 새로운 프레임워크 'RbtAct'와 대규모 데이터셋을 제안하고, 이를 통해 기존 모델보다 실행 가능성과 구체성이 향상된 리뷰를 생성함을 보여줍니다.
EXPLORE-Bench: Egocentric Scene Prediction with Long-Horizon Reasoning
이 논문은 실제 1 인칭 비디오를 기반으로 한 'EXPLORE-Bench' 벤치마크를 제안하여, 다중 모달 대규모 언어 모델이 1 인칭 관점에서 행동의 장기적 물리적 결과를 추론하는 데 여전히 한계가 있음을 규명하고, 단계별 추론을 통한 성능 개선 가능성을 제시합니다.
Beyond Fine-Tuning: Robust Food Entity Linking under Ontology Drift with FoodOntoRAG
이 논문은 기존 파인튜닝 방식의 높은 비용과 온톨로지 변화에 대한 취약성을 극복하기 위해, 도메인 온톨로지에서 후보 개체를 검색하고 LLM 에 구조화된 증거를 기반으로 한 다단계 에이전트 파이프라인을 활용하여 파인튜닝 없이도 견고하고 해석 가능한 식품 개체 링크를 수행하는 'FoodOntoRAG'를 제안합니다.
EPIC-EuroParl-UdS: Information-Theoretic Perspectives on Translation and Interpreting
이 논문은 유럽 의회 연설의 원본, 번역, 통역을 포함한 영어 - 독일어 병렬 말뭉치 'EPIC-EuroParl-UdS'의 업데이트된 버전을 소개하고, 정보이론적 접근을 통해 구어와 문어의 변이를 연구할 수 있도록 어휘 정렬 및 놀라움 지수 등의 새로운 레이어를 추가하여 번역 연구와 통역 중 유창성 예측에 활용 가능한 새로운 분석 사례를 제시합니다.