Harnessing Temporal Databases for Systematic Evaluation of Factual Time-Sensitive Question-Answering in Large Language Models
이 논문은 수동적 한계를 극복하고 확장 가능한 사실적 시의성 질문응답 (TSQA) 평가를 위해 시계열 데이터베이스 기술을 활용한 새로운 벤치마크 'TDBench'와 정밀한 평가 지표를 제안합니다.
💬 Category
cs.CL
2405 편의 논문
Uni-cot: Towards Unified Chain-of-Thought Reasoning Across Text and Vision
이 논문은 고비용과 훈련 부담을 줄이기 위해 거시적 계획과 미시적 실행의 2 단계 추론 패러다임을 도입한 단일 통합 모델 'Uni-CoT'를 제안하여 텍스트와 비전을 아우르는 일관된 다중 모달 추론을 가능하게 하고, WISE, RISE, KRIS 등 다양한 벤치마크에서 최첨단 성능을 입증했습니다.
Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks
이 논문은 고정된 연산 예산 하에서 Mixture-of-Experts (MoE) 모델의 희소성 (sparsity) 을 분석하여, 추론 성능 향상을 위해서는 단순한 손실 최소화뿐만 아니라 활성 연산량 (Active FLOPs) 과 토큰당 파라미터 수 (TPP) 의 최적 균형이 필요함을 규명했습니다.
EigenBench: A Comparative Behavioral Measure of Value Alignment
이 논문은 객관적인 정답이 없는 가치 정렬 문제를 해결하기 위해, 모델 간 상호 평가와 EigenTrust 알고리즘을 활용해 인간 평가자와 높은 일치도를 보이는 'EigenBench'라는 새로운 비교 행동 측정 방법을 제안합니다.
Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection
이 논문은 기존 모델을 미세 조정하거나 보조 모델 없이도 텍스트-시각 편향과 공발생 편향을 완화하여 멀티모달 대규모 언어 모델의 환각 현상을 줄이고 시각적 근거를 강화하기 위해, 1 차 테일러 그래디언트를 활용한 그라디언트 기반 영향 인식 제약 디코딩 (GACD) 방법을 제안합니다.
Post-training Large Language Models for Diverse High-Quality Responses
이 논문은 기존 강화학습 기반 후학습 방법이 LLM 의 응답 다양성을 저하시킨다는 문제를 해결하기 위해, 결정적 포인트 프로세스 (DPP) 를 기반으로 품질과 의미적 다양성을 동시에 최적화하는 새로운 훈련 방법인 DQO 를 제안하고 다양한 과제에서 그 유효성을 입증합니다.
BinaryShield: Cross-Service Threat Intelligence in LLM Services using Privacy-Preserving Fingerprints
BinaryShield 는 PII 제거, 시맨틱 임베딩, 이진 양자화 및 무작위 응답 메커니즘을 결합하여 개인정보 보호 규제를 준수하면서 LLM 서비스 간에 프롬프트 주입 공격 지문을 안전하게 공유할 수 있는 최초의 프라이버시 보호형 위협 인텔리전스 시스템입니다.
Distribution-Aligned Decoding for Efficient LLM Task Adaptation
이 논문은 파라미터 효율적 미세 조정 (PEFT) 과 결합하여 출력 분포를 직접 조정하는 경량화된 'Steering Vector Decoding(SVDecode)' 방법을 제안함으로써, 추가 학습 파라미터 없이도 대규모 언어 모델의 태스크 적응 성능을 이론적으로 입증된 방식으로 향상시킵니다.
Actions Speak Louder than Prompts: A Large-Scale Study of LLMs for Graph Inference
이 논문은 프롬프트, 도구 사용, 코드 생성 등 다양한 LLM-그래프 상호작용 모드를 대규모로 평가하여 코드 생성이 특히 긴 텍스트나 고차원 그래프에서 가장 강력한 성능을 보이며, 동질성 여부와 상관없이 구조, 특성, 레이블 간의 유연한 적응이 가능함을 규명했습니다.
PMark: Towards Robust and Distortion-free Semantic-level Watermarking with Channel Constraints
이 논문은 문장을 기본 단위로 처리하는 의미 수준 워터마킹의 강건성과 왜곡 없는 특성을 보장하기 위해 프록시 함수 기반의 새로운 이론적 프레임워크를 제안하고, 이를 통해 기존 방법들보다 우수한 성능을 보이는 PMark 방법을 개발했습니다.
Bridging Draft Policy Misalignment: Group Tree Optimization for Speculative Decoding
이 논문은 추론 속도를 높이는 스펙큘레이티브 디코딩에서 드래프트 모델의 학습 목표와 디코딩 시의 트리 정책 간 불일치를 해결하기 위해, 드래프트 트리의 기대 수용 길이를 직접 최적화하는 '그룹 트리 최적화 (GTO)'를 제안하여 기존 최첨단 방법보다 더 높은 수용 길이와 가속도를 달성함을 보여줍니다.
Test-Time Policy Adaptation for Enhanced Multi-Turn Interactions with LLMs
이 논문은 실시간 사용자 피드백을 기반으로 소수의 파라미터를 한 번의 효율적인 업데이트로 조정하여 다턴 대화 중 LLM 의 성능 저하를 해결하고 사용자 선호도에 부합하는 최적 정책을 수렴하도록 보장하는 '테스트 타임 정책 적응 (T2PAM)' 프레임워크와 이를 구현하는 'ROSA' 알고리즘을 제안합니다.
Train Once, Answer All: Many Pretraining Experiments for the Cost of One
이 논문은 단일 사전학습 실행 내에서 여러 실험을 동시에 수행하여 대규모 언어 모델 연구에 필요한 막대한 계산 비용을 획기적으로 절감하면서도 다양한 데이터 영향과 모델 행동을 정밀하게 분석할 수 있는 새로운 방법론을 제시합니다.
Reasoning or Retrieval? A Study of Answer Attribution on Large Reasoning Models
이 논문은 대형 추론 모델이 추론 과정 대신 기억 회상을 통해 정답을 유추하는 '단축키'를 사용한다는 문제를 발견하고, 이를 해결하기 위해 기억 소거와 강화 학습을 결합한 새로운 미세 조정 프레임워크인 FARL 을 제안합니다.
Group-Relative REINFORCE Is Secretly an Off-Policy Algorithm: Demystifying Some Myths About GRPO and Its Friends
이 논문은 그룹 상대적 REINFORCE 가 본질적으로 오프-폴리시 알고리즘임을 처음 원리에서 유도하여 GRPO 와 관련된 오해를 해소하고, 정규화 및 데이터 분포 조절을 통한 오프-폴리시 RL 을 위한 새로운 설계 원칙과 실증적 통찰을 제시합니다.
Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention
이 논문은 대형 추론 모델의 안전하지 않은 추론 과정을 해결하기 위해 안전 트리거를 활용한 '개입 선호도 최적화 (IPO)' 방법을 제안하고, 이를 통해 추론과 응답의 안전성을 크게 향상시키면서도 다양한 추론 과제의 성능을 유지함을 입증합니다.
Scaling with Collapse: Efficient and Predictable Training of LLM Families
이 논문은 최적화된 확장 규칙 하에서 LLM 의 학습 손실 곡선이 보편적 궤적으로 수렴하는 '붕괴' 현상을 규명하고, 이를 통해 학습 병목의 조기 진단과 하이퍼파라미터 튜닝의 조기 종료를 가능하게 하여 효율적인 LLM 패밀리 'Celerity'를 개발하는 데 성공했음을 보여줍니다.
Calibrating Verbalized Confidence with Self-Generated Distractors
이 논문은 LLM 의 과도한 자신감 문제를 해결하기 위해 모델이 생성한 오답 (distractors) 에 대한 자신감 평가를 정규화하고 생성자 - 검증자 불일치를 활용하여 'DINCO'라는 새로운 보정 방법을 제안하며, 기존 자기일관성 방법보다 훨씬 적은 추론 비용으로 우수한 보정 성능을 달성함을 보여줍니다.
EditReward: A Human-Aligned Reward Model for Instruction-Guided Image Editing
이 논문은 20 만 개 이상의 인간 선호도 쌍으로 훈련된 새로운 reward 모델인 EditReward 를 제안하여 오픈소스 이미지 편집 모델의 품질 향상을 위한 고품질 데이터 선별 및 학습을 가능하게 하고 인간 선호도와의 높은 정합성을 입증합니다.
MENLO: From Preferences to Proficiency -- Evaluating and Modeling Native-like Quality Across 47 Languages
이 논문은 47 개 언어에 걸친 6,423 개의 인간 주석 선호도 데이터셋과 청중 설계 원리를 기반으로 한 MENLO 평가 프레임워크를 제안하여, 다국어 LLM 의 원어민 수준의 품질을 평가하고 강화 학습 등을 통해 모델 성능을 향상시키는 방법을 제시합니다.