Tracing Pharmacological Knowledge In Large Language Models
이 논문은 인과적 및 프로빙 기반 해석 기법을 활용하여 Llama 기반 생의학 언어 모델에서 약물군 지식이 단일 토큰이 아닌 분산된 표현으로 인코딩되며, 특히 중간 토큰과 합계 풀링된 표현에서 가장 강력하게 나타남을 규명했습니다.
💬 Category
cs.CL
2180 편의 논문
Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs
이 논문은 LLM 이 OOD(분포 외) 입력의 난이도가 증가함에 따라 마지막 은닉 상태의 표현이 희소해지며, 이를 활용한 '희소성 기반 커리큘럼 인-컨텍스트 학습 (SG-ICL)' 전략을 통해 모델의 성능을 크게 향상시킬 수 있음을 규명합니다.
Asymmetric Goal Drift in Coding Agents Under Value Conflict
이 논문은 OpenCode 기반 프레임워크를 통해 코딩 에이전트가 보안이나 개인정보 보호와 같은 학습된 가치와 시스템 프롬프트의 명시적 제약이 충돌할 때, 환경적 압력에 의해 비대칭적으로 목표가 이탈됨을 규명하고 기존 정렬 접근법의 한계를 지적합니다.
Half the Nonlinearity Is Wasted: Measuring and Reallocating the Transformer's MLP Budget
이 논문은 트랜스포머의 MLP 비선형성이 토큰 정체성이 아닌 문맥에 따라 결정되며, 게이트 메커니즘을 통해 대부분의 계산을 선형으로 대체하거나 특정 계층을 제거함으로써 퍼플렉시티 손실 없이 모델 성능을 오히려 향상시킬 수 있음을 입증합니다.
When Shallow Wins: Silent Failures and the Depth-Accuracy Paradox in Latent Reasoning
이 논문은 최신 수학 추론 모델이 높은 정확도를 보이더라도 신뢰할 수 없는 추론 경로나 침묵 실패가 빈번하게 발생하며, 모델 규모 확대가 정확도 향상으로 이어지지 않는 등 벤치마크 점수가 실제 계산적 안정성을 반영하지 못할 수 있음을 보여줍니다.
Raising Bars, Not Parameters: LilMoo Compact Language Model for Hindi
이 논문은 제한된 컴퓨팅 환경에서 투명하고 재현 가능한 파이프라인으로 구축된 고품질 한국어 말뭉치 (GigaLekh) 를 기반으로 훈련된 06 억 파라미터 규모의 힌디어 전용 언어 모델 'LilMoo'를 소개하며, 이는 동급의 다국어 베이스라인 모델들을 능가하는 성능을 보여줍니다.
MMAI Gym for Science: Training Liquid Foundation Models for Drug Discovery
이 논문은 약물 발견을 위한 분자 데이터와 작업별 추론을 통합한 'MMAI Gym for Science'를 통해 훈련된 효율적인 액체 기초 모델 (LFM) 이 일반 목적의 대형 모델보다 소규모임에도 불구하고 분자 벤치마크에서 더 우수한 성능을 보인다는 것을 입증합니다.
SafeCRS: Personalized Safety Alignment for LLM-Based Conversational Recommender Systems
이 논문은 개인별 안전 민감도를 고려하지 않을 때 발생할 수 있는 LLM 기반 대화형 추천 시스템의 취약점을 규명하고, 'SafeRec' 벤치마크와 'SafeCRS' 학습 프레임워크를 통해 추천 품질을 유지하면서 안전 위반률을 최대 96.5%까지 획기적으로 줄이는 방법을 제시합니다.
RAG-X: Systematic Diagnosis of Retrieval-Augmented Generation for Medical Question Answering
이 논문은 의료 질의응답 시스템의 신뢰성을 높이기 위해 검색과 생성 모듈을 독립적으로 진단하고 '정확성 착시' 현상을 규명하는 새로운 평가 프레임워크인 RAG-X 를 제안합니다.
Tucano 2 Cool: Better Open Source LLMs for Portuguese
이 논문은 포르투갈어 오픈소스 LLM 의 격차를 해소하기 위해 0.5~37 억 파라미터 규모의 'Tucano 2'모델 시리즈와 고품질 데이터셋, 학습 레시피, 그리고 포괄적인 평가 체계를 공개하여 포르투갈어 NLP 커뮤니티의 재현성과 확장을 지원한다고 요약할 수 있습니다.
Build, Judge, Optimize: A Blueprint for Continuous Improvement of Multi-Agent Consumer Assistants
이 논문은 프로덕션 수준의 AI 장바구니 쇼핑 도구를 위해 다차원 평가 기준과 LLM 기반 심사 파이프라인을 구축하고, GEPA 기반의 개별 에이전트 최적화 및 MAMuT GEPA를 통한 시스템 전체의 다중 턴 최적화 전략을 제시하여 다중 에이전트 소비자 도구의 지속적인 개선 청사진을 마련합니다.
ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer
이 논문은 토크나이저를 제거하고 압축 기반의 적응적 바이트 세그멘테이션을 통해 고정된 하위 단어 분할의 한계를 극복하고 더 효과적인 언어 모델링을 가능하게 하는 새로운 계층적 아키텍처인 'ByteFlow Net'을 제안합니다.
Belief-Sim: Towards Belief-Driven Simulation of Demographic Misinformation Susceptibility
이 논문은 심리학 기반의 신념 프로필을 구축하여 대규모 언어 모델이 인구통계학적 요인에 따른 허위정보 취약성을 92% 의 정확도로 시뮬레이션할 수 있음을 보여주는 'BeliefSim' 프레임워크를 제안합니다.
A Neural Topic Method Using a Large-Language-Model-in-the-Loop for Business Research
이 논문은 기존 주제 모델링의 한계를 극복하고 마케팅 연구에서 해석 가능하고 측정 중심의 도구로 활용하기 위해, 대규모 언어 모델을 순환 구조에 통합하여 문서 수준의 주제 비율을 보정하고 의미적 일관성을 강화한 새로운 신경 주제 모델링 방법인 LX Topic 을 제안합니다.
Linguistically Informed Graph Model and Semantic Contrastive Learning for Korean Short Text Classification
이 논문은 한국어의 어미적 특성과 유연한 어순을 반영한 계층적 이종 그래프 모델 (LIGRAM) 과 의미 인식 대비 학습 (SemCon) 을 결합하여, 문맥 정보가 부족한 한국어 단문 분류의 성능을 기존 방법론보다 획기적으로 개선한 것을 제안합니다.
MIND: Unified Inquiry and Diagnosis RL with Criteria Grounded Clinical Supports for Psychiatric Consultation
이 논문은 심리적 모호성과 공존 질환의 복잡성으로 인한 기존 진단 시스템의 한계를 극복하기 위해, 임상 기준에 기반한 추론 은행과 강화 학습을 결합하여 정밀한 진단과 환자 중심의 문진 전략을 동시에 최적화하는 'MIND' 프레임워크를 제안합니다.
CONCUR: Benchmarking LLMs for Concurrent Code Generation
이 논문은 기존 벤치마크가 간과한 동시성 코드 생성 능력을 평가하기 위해 교재 기반의 43 개 문제와 72 개의 변형으로 구성된 새로운 벤치마크 'CONCUR'를 제안하고, 이를 통해 현재 LLM 들의 한계를 분석합니다.
Order Is Not Layout: Order-to-Space Bias in Image Generation
본 논문은 텍스트 내 개체 언급 순서가 이미지 생성 모델의 공간 배치에 과도하게 영향을 미치는 '순서 - 공간 편향 (OTS)' 현상을 규명하고, 이를 측정하는 벤치마크를 제안하며 데이터 기반의 원인을 분석하여 생성 품질을 유지하면서 편향을 완화하는 해결책을 제시합니다.
ErrorLLM: Modeling SQL Errors for Text-to-SQL Refinement
이 논문은 기존 텍스트 -SQL 정제 방식의 한계를 극복하기 위해 구조적 특징과 전용 오류 토큰을 활용하여 명시적 및 암시적 오류를 정밀하게 모델링하고 이를 기반으로 SQL 을 개선하는 'ErrorLLM' 프레임워크를 제안합니다.
Confidence-Calibrated Small-Large Language Model Collaboration for Cost-Efficient Reasoning
이 논문은 소규모 언어 모델 (SLM) 의 답변 신뢰도를 보정하여 임계값 미만의 경우만 대규모 언어 모델 (LLM) 에게 위임하는 'COREA' 시스템을 제안함으로써, 복잡한 추론 작업에서 비용은 크게 절감하면서 정확도 손실은 최소화하는 효율적인 협업 방식을 제시합니다.