LBM: Hierarchical Large Auto-Bidding Model via Reasoning and Acting
이 논문은 자동 입찰의 복잡성과 기존 방법의 한계를 해결하기 위해 추론과 행동을 계층적으로 분리하고, 언어와 수치 데이터를 융합하는 이중 임베딩 메커니즘과 환각을 줄이는 GQPO 오프라인 강화 미세조정 기법을 도입한 'LBM'을 제안하여 동적 광고 환경에서 뛰어난 일반화 성능과 효율적인 학습을 달성함을 보여줍니다.
💬 Category
cs.CL
1725 편의 논문
Feature Resemblance: On the Theoretical Understanding of Analogical Reasoning in Transformers
이 논문은 트랜스포머 모델이 유사한 속성을 가진 엔티티를 유사한 표현으로 인코딩하는 Feature Resemblance 메커니즘을 통해 유추 추론이 어떻게 발현되는지 이론적으로 증명하고, 학습 커리큘럼과 데이터 구조가 추론 능력에 미치는 영향을 15 억 파라미터 모델 실험을 통해 검증했습니다.
C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning
이 논문은 PRM800K 기반의 C2-Faith 벤치마크를 통해 LLM 판정기가 연쇄 추론의 인과성과 포괄성이라는 두 가지 차원에서 얼마나 신뢰할 수 있는지를 평가하고, 작업 구성에 따른 성능 차이와 오류 탐지 및 국소화 간의 간극 등 판정기의 한계와 활용 가이드라인을 제시합니다.
Sparse-BitNet: 1.58-bit LLMs are Naturally Friendly to Semi-Structured Sparsity
이 논문은 1.58 비트 양자화 모델인 BitNet 이 N:M 구조적 희소성과 자연스럽게 호환되어 성능 저하 없이 효율성을 크게 향상시킬 수 있음을 증명하는 통합 프레임워크 'Sparse-BitNet'을 제안합니다.
Guidelines for the Annotation and Visualization of Legal Argumentation Structures in Chinese Judicial Decisions
이 논문은 중국 사법 결정서의 법적 논증 구조를 체계적으로 분석하고 시각화하기 위해 명제 유형과 논증 관계를 정의한 표준화 된 어노테이션 프레임워크와 워크플로우를 제안합니다.
Transducing Language Models
이 논문은 유한 상태 전이기 (FST) 를 활용한 결정적 문자열 변환을 통해 사전 학습된 언어 모델의 출력 형식을 변경하면서도 모델 파라미터를 수정하지 않고 확률을 전파하여 새로운 언어 모델을 구성하는 프레임워크와 알고리즘을 제안하고 실험을 통해 검증합니다.
Diffusion LLMs can think EoS-by-EoS
이 논문은 확산 기반 LLM 이 정답보다 긴 생성 길이를 설정하여 끝-of-시퀀스 (EoS) 토큰으로 패딩할 때, 이러한 EoS 토큰의 표현을 숨겨진 연산 공간 (스크래치패드) 으로 활용하여 복잡한 추론 능력을 향상시킨다는 'EoS-by-EoS 사고' 가설을 실험과 인과적 개입을 통해 입증했습니다.
Distilling Formal Logic into Neural Spaces: A Kernel Alignment Approach for Signal Temporal Logic
이 논문은 심볼릭 커널의 계산 비용을 줄이면서도 신호 시공간 논리 (STL) 의 의미론적 구조와 역변환 가능성을 보존하는 신경 표현을 학습하기 위해 커널 정렬 기반의 증류 프레임워크를 제안합니다.
Core-based Hierarchies for Efficient GraphRAG
이 논문은 희소 지식 그래프에서 Leiden 클러스터링의 비재현성 문제를 해결하기 위해 k-core 분해를 도입하여 결정론적이고 효율적인 계층적 구조를 구축함으로써, 전역적 의미 파악 (global sensemaking) 작업의 정확성을 높이고 토큰 비용을 절감하는 새로운 GraphRAG 프레임워크를 제안합니다.
Balancing Coverage and Draft Latency in Vocabulary Trimming for Faster Speculative Decoding
이 논문은 도메인별 작업에 특화된 소규모 어휘를 선택하여 드래프트 모델의 추론 지연을 줄이면서도 토큰 커버리지를 유지하는 최적화 기법을 제안함으로써, 스펙큘레이티브 디코딩의 처리량과 지연 시간을 균형 있게 개선하는 방법을 제시합니다.
VietJobs: A Vietnamese Job Advertisement Dataset
이 논문은 베트남 전역의 34 개 주에서 수집된 48,092 개의 구직 공고로 구성된 대규모 공개 데이터셋 'VietJobs'을 소개하고, 이를 기반으로 직업 분류 및 급여 추정 과제를 수행한 생성형 LLM 들의 성능을 평가하여 베트남 NLP 및 노동 시장 분석 연구의 새로운 기준을 제시합니다.
Oral to Web: Digitizing 'Zero Resource'Languages of Bangladesh
이 논문은 방글라데시의 42 개 소수 민족 언어 (전체 40 개 언어 중 14 개가 위기에 처함) 에 대해 체계적인 필드워크를 통해 수집된 85,792 개의 텍스트 항목과 약 107 시간의 음성 기록을 포함하는 최초의 국가 규모 다국어 클라우드 코퍼스인 'Multilingual Cloud Corpus'를 소개하고, 이를 통해 구어 중심의 '제로 리소스' 언어를 디지털화하여 언어 문서화, 저자원 NLP, 그리고 디지털 보존에 기여하는 방안을 논의합니다.
SarcasmMiner: A Dual-Track Post-Training Framework for Robust Audio-Visual Sarcasm Reasoning
이 논문은 텍스트, 음성, 시각적 단서를 통합한 다중 모달 유머 탐지를 위해 강화 학습 기반의 'SarcasmMiner' 프레임워크를 제안하며, 구조화된 추론과 이중 궤도 증류 전략을 통해 MUStARD++ 데이터셋에서 기존 방법론 대비 성능을 크게 향상시켰음을 보여줍니다.
Knowledge Divergence and the Value of Debate for Scalable Oversight
이 논문은 principal angles 를 기반으로 지식 발산을 기하학적으로 매개변수화하여 AI 안전을 위한 논쟁 (Debate) 과 RLAIF 간의 정형적 관계를 규명하고, 지식 발산의 정도에 따라 논쟁의 가치가 이차적에서 선형적 영역으로 위상 전이를 일으키며 상호보완적 정보를 가진 모델 간에 단일 에이전트로는 달성할 수 없는 결과를 도출할 수 있음을 증명합니다.
WavSLM: Single-Stream Speech Language Modeling via WavLM Distillation
이 논문은 텍스트 지도나 복잡한 하이브리드 구조 없이 WavLM 표현을 단일 코드북으로 양자화하고 자기회귀적 다음 청크 예측을 통해 학습된 단일 스트림 음성 언어 모델 'WavSLM'을 제안하여, 단순한 아키텍처로도 경쟁력 있는 음성 생성 및 일관성 성능을 달성함을 보여줍니다.
Med-V1: Small Language Models for Zero-shot and Scalable Biomedical Evidence Attribution
이 논문은 고비용의 최첨단 대형 언어 모델과 유사한 성능을 내면서도 효율적인 30 억 파라미터 규모의 소형 언어 모델 'Med-V1'을 개발하여 생물의학 증거 귀속 및 검증, 환각 현상 분석, 임상 가이드라인 오류 식별 등 다양한 실용적 응용을 가능하게 했음을 제시합니다.
PersianPunc: A Large-Scale Dataset and BERT-Based Approach for Persian Punctuation Restoration
이 논문은 1,700 만 개의 샘플로 구성된 대규모 PersianPunc 데이터셋을 구축하고, ParsBERT 기반의 경량화 모델이 대규모 언어 모델의 과수정 문제와 높은 계산 비용을 해결하면서도 91.33% 의 높은 F1 점수를 달성하여 실시간 Persian 문장 부호 복원에 효과적임을 입증했습니다.
A Multilingual Human Annotated Corpus of Original and Easy-to-Read Texts to Support Access to Democratic Participatory Processes
이 논문은 민주적 참여 과정에 대한 접근성을 지원하기 위해 스페인어, 카탈로니아어, 이탈리아어로 구성된 원문과 인간 전문가가 작성한 쉬운 읽기 (E2R) 텍스트를 포함한 다국어 어휘 코퍼스를 소개하며, 특히 카탈로니아어 최초의 주석 코퍼스를 제공한다는 점을 강조합니다.
Exploring the potential and limitations of Model Merging for Multi-Domain Adaptation in ASR
이 논문은 11 가지 병합 알고리즘을 평가하고 TSV-M 기반의 새로운 알고리즘인 BoostedTSV-M 을 제안하여, 유럽 포르투갈어 다중 도메인 ASR 에서 전체 미세 조정보다 우수한 성능과 분포 외 일반화 능력을 단일 모델로 달성하는 모델 병합의 잠재력을 입증합니다.
DiSCTT: Consensus-Guided Self-Curriculum for Efficient Test-Time Adaptation in Reasoning
이 논문은 다양한 추론 문제의 난이도와 불확실성을 고려하여 일관된 답변이 높은 샘플에는 지도 미세조정을, 낮은 샘플에는 일관성 정규화를 적용한 강화학습을 동적으로 수행함으로써 추론 성능을 효율적으로 향상시키는 새로운 테스트 시간 적응 프레임워크인 DiSCTT 를 제안합니다.