COMI: Coarse-to-fine Context Compression via Marginal Information Gain
이 논문은 대규모 언어 모델의 긴 문맥 처리 효율성을 높이기 위해, 관련성과 중복성을 동시에 고려한 '주변 정보 이득 (MIG)' 지표를 기반으로 coarse-to-fine 방식으로 문맥을 압축하는 COMI 프레임워크를 제안하고 다양한 작업에서 기존 기법보다 뛰어난 성능을 입증합니다.
💬 Category
cs.CL
1072 편의 논문
Accelerating Scientific Research with Gemini: Case Studies and Common Techniques
본 논문은 구글의 제미니 (Gemini) 기반 모델을 활용하여 이론 컴퓨터 과학 및 물리학 등 다양한 분야에서 새로운 증명과 반례를 발견한 사례 연구와 반복적 정제, 문제 분해, 신경-상징적 루프 등 효과적인 인간-AI 협력 기법을 제시함으로써, 인공지능이 단순 자동화 도구를 넘어 과학적 발견의 진정한 파트너로 역할을 할 수 있음을 보여줍니다.
Towards Autonomous Mathematics Research
이 논문은 자연어 기반의 반복적 생성·검증·수정 과정을 통해 수학 연구 전 과정을 자율적으로 수행하는 에이전트 'Aletheia'를 소개하고, 이를 통해 무인 자동 생성 논문, 인간-AI 협업 증명, 그리고 오픈 문제 해결 등 AI 와 수학 연구의 새로운 지평을 열었음을 보여줍니다.
DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning
이 논문은 강화 학습을 활용하여 LLM 적응을 위한 최적의 데이터 레시피를 자동으로 생성하는 'DataChef-32B'를 제안하며, 인간 전문가가 설계한 레시피와 유사한 성능을 내고 공식 체크포인트를 능가하는 결과를 입증했습니다.
The Consensus Trap: Dissecting Subjectivity and the "Ground Truth" Illusion in Data Annotation
이 논문은 기계학습의 'ground truth' 패러다임이 인간 간 불일치를 단순한 기술적 노이즈로 오인하는 실증주의적 오류에 기반하며, 데이터 주석 과정에서 발생하는 합의의 함정과 서구 중심적 편향을 비판하고 불일치를 문화적 다양성을 반영하는 중요한 신호로 재해석하여 다원적 주석 인프라를 구축할 것을 주장합니다.
IntelliAsk: Learning to Ask High-Quality Research Questions via RLVR
이 논문은 OpenReview 리뷰어 질문 데이터를 기반으로 'IntelliReward' 보상 모델을 학습시키고 이를 통해 강화학습을 적용한 'IntelliAsk' 모델을 개발하여, 기존 LLM 들보다 더 심층적이고 근거 기반이며 노력이 담긴 연구 질문을 생성할 수 있도록 했음을 제시합니다.
Diverse Word Choices, Same Reference: Annotating Lexically-Rich Cross-Document Coreference
이 논문은 뉴스 담론에서의 어휘적 다양성과 프레이밍 변이를 포착할 수 있도록 '동일성'과 '근접 동일성' 관계를 모두 포함하는 새로운 교차 문서 코어퍼런스 주석 체계를 제안하고, 이를 NewsWCL50 및 ECB+ 데이터셋에 적용하여 재주석한 결과를 제시합니다.
The Cascade Equivalence Hypothesis: When Do Speech LLMs Behave Like ASRLLM Pipelines?
이 논문은 말하기 LLM 이 기존 ASR-LLM 파이프라인보다 우월하다는 통념과 달리, 실제 대부분의 배포 시나리오에서는 고비용의 비효율적인 캐스케이드로 작동하며 오히려 잡음 환경에서 성능이 더 떨어질 수 있음을 메커니즘적 분석을 통해 입증합니다.
Both Ends Count! Just How Good are LLM Agents at "Text-to-Big SQL"?
이 논문은 대규모 데이터 환경에서 기존 Text-to-SQL 평가 지표의 한계를 지적하고, 실행 효율성, 비용, 데이터 규모 영향을 종합적으로 반영하는 새로운 'Text-to-Big SQL' 평가 지표와 LLM 에이전트에 대한 통찰을 제시합니다.
Modality Collapse as Mismatched Decoding: Information-Theoretic Limits of Multimodal LLMs
이 논문은 정보이론적 관점에서 멀티모달 LLM 의 모달리티 붕괴 현상을 텍스트 정렬된 디코더의 불일치 해독 문제로 설명하며, 모델의 아키텍처가 아닌 학습 목표 (스코어링 규칙) 가 접근 가능한 정보의 한계를 결정한다는 것을 입증합니다.
CoME: Empowering Channel-of-Mobile-Experts with Informative Hybrid-Capabilities Reasoning
이 논문은 모바일 에이전트의 혼합 능력 추론을 위해 네 가지 전문 가구를 가진 CoME 아키텍처와 점진적 훈련 전략, 그리고 정보 이득 기반의 Info-DPO 를 제안하여 기존 방법보다 우수한 성능을 입증했습니다.
Verify as You Go: An LLM-Powered Browser Extension for Fake News Detection
이 논문은 RAG 와 LLM 기술을 활용하여 가짜 뉴스 탐지 성능을 높이고, 사용자 참여와 투명한 설명을 제공하는 브라우저 확장 프로그램 'Aletheia'를 제안하며, 실험과 사용자 연구를 통해 그 효과성을 입증했습니다.
Omni-C: Compressing Heterogeneous Modalities into a Single Dense Encoder
이 논문은 이미지, 오디오, 텍스트 등 이질적인 모달리티를 별도의 전문가 모델이나 MoE 구조 없이 단일 밀집 Transformer 인코더로 압축하여 메모리 효율성을 극대화하면서도 경쟁력 있는 성능을 달성하는 'Omni-C'를 제안합니다.
Attention Meets Reachability: Structural Equivalence and Efficiency in Grammar-Constrained LLM Decoding
이 논문은 문법 제약 하의 LLM 디코딩에서 문법적 동치성이 허용된 다음 토큰 집합에는 영향을 주지 않지만, 컴파일된 상태 공간과 온라인 구조적 모호성 비용 (SAC) 에는 결정적인 차이를 만든다는 것을 증명하고, 이를 기반으로 효율적인 디코딩 엔진의 하한을 규명하며 Transformer 아키텍처와의 통합을 위한 이론적 틀을 제시합니다.
EigenData: A Self-Evolving Multi-Agent Platform for Function-Calling Data Synthesis, Auditing, and Repair
이 논문은 데이터베이스 구축, 실행 가능한 환경 생성, 다중 턴 궤적 합성을 담당하는 전문 에이전트들을 조율하여 기능 호출 데이터의 수명 주기를 자동화하고, BFCL-V3 벤치마크의 오류를 식별 및 수정하며 결과 지향 평가 프로토콜을 도입함으로써 모델 성능 평가의 인간적 판단과의 상관관계를 크게 향상시킨 'EigenData'라는 자기 진화형 멀티 에이전트 플랫폼을 제안합니다.
Aligning the True Semantics: Constrained Decoupling and Distribution Sampling for Cross-Modal Alignment
이 논문은 이미지와 텍스트 간의 진정한 의미 정렬을 위해 임베딩을 의미 및 모달리티 성분으로 적응적으로 분리하는 제약된 분해와 모달리티 간극을 해소하는 분포 샘플링을 결합한 CDDS 알고리즘을 제안하여 기존 최첨단 방법보다 6.6%~14.2% 높은 성능을 달성함을 보여줍니다.
CBR-to-SQL: Rethinking Retrieval-based Text-to-SQL using Case-based Reasoning in the Healthcare Domain
이 논문은 의료 도메인의 복잡한 용어와 데이터 부족 문제를 해결하기 위해 사례 기반 추론 (CBR) 을 도입하여 질문-SQL 쌍을 추상화된 템플릿으로 표현하고 2 단계 검색 과정을 통해 기존 RAG 방식보다 높은 효율성과 견고함을 보이는 'CBR-to-SQL'프레임워크를 제안합니다.
NOTAI.AI: Explainable Detection of Machine-Generated Text via Curvature and Feature Attribution
이 논문은 곡률 기반 신호와 신경망 및 스타일론적 특징을 통합한 XGBoost 메타 분류기와 SHAP 기반 설명 시스템을 통해 기계 생성 텍스트를 탐지하고 자연어 근거를 제공하는 설명 가능한 프레임워크 'NOTAI.AI'를 제안합니다.
Safer Reasoning Traces: Measuring and Mitigating Chain-of-Thought Leakage in LLMs
이 논문은 체인 오브 씽킹 (CoT) 프롬프팅이 개인정보 (PII) 누출 위험을 증가시키는 현상을 분석하고, 다양한 경량 게이트키퍼를 평가하여 모델과 예산에 따라 유연하게 적용 가능한 하이브리드 완화 전략의 필요성을 제시합니다.
RACAS: Controlling Diverse Robots With a Single Agentic System
이 논문은 자연어 기반의 협력적 에이전트 아키텍처인 RACAS 를 제안하여, 소스 코드나 모델 재학습 없이 다양한 로봇 플랫폼 간에 고수준 자율 행동을 가능하게 함으로써 로봇 프로토타이핑의 장벽을 획기적으로 낮췄음을 보여줍니다.