1071 artículos
Este trabajo demuestra que el uso de Low-Rank Adaptation (LoRA) en el aprendizaje federado para modelos de lenguaje grandes reduce significativamente la memorización no deseada de datos de entrenamiento, mejorando la privacidad sin sacrificar el rendimiento en diversos dominios de alto riesgo.
El artículo presenta LaVCa, un enfoque basado en modelos de lenguaje grande que genera descripciones en lenguaje natural de la selectividad de los voxels en la corteza visual, superando a los métodos anteriores al revelar propiedades funcionales más detalladas y diferenciaciones finas en el procesamiento visual humano.
El artículo presenta el marco COD (Clustering-On-Difficulty), que agrupa tareas por sus características de dificultad para predecir con alta precisión el rendimiento a escala de los modelos de lenguaje grandes, logrando un error promedio de solo 1,55 % en ocho benchmarks clave.
El artículo presenta HaLoRA, un método de adaptación de bajo rango consciente del hardware que combina arquitecturas de memoria de computación híbrida (RRAM para pesos preentrenados y SRAM para ramas LoRA) con una pérdida de entrenamiento específica para mitigar el ruido de la RRAM, logrando una reducción del 97% en el consumo energético y mejoras significativas en el rendimiento en tareas de razonamiento.
Este estudio revela que, aunque los Grandes Modelos de Lenguaje (LLM) tienden a sobrerrepresentar a las mujeres en sus historias generadas debido al ajuste fino y al aprendizaje por refuerzo, paradójicamente siguen asignándoles roles ocupacionales que reflejan estereotipos de género más que la realidad laboral actual.
El paper presenta EDU-PRM, un nuevo modelo de recompensa de proceso que utiliza la incertidumbre basada en entropía para segmentar automáticamente los pasos de razonamiento sin anotaciones manuales, logrando un rendimiento superior en el benchmark ProcessBench con solo el 1,5% de los datos de entrenamiento y reduciendo significativamente el uso de tokens.
El artículo presenta CAWAI, un modelo de recuperación que integra objetivos semánticos y causales para superar las limitaciones de los sistemas actuales al capturar relaciones de causalidad en dominios intensivos en conocimiento, demostrando un rendimiento superior en tareas de recuperación causal y generalización cero en preguntas científicas.
La investigación demuestra que, aunque los Modelos de Lenguaje Grande (LLM) pueden estimar la dificultad de ítems educativos, la estrategia que combina la extracción de características lingüísticas y cognitivas por parte del LLM con algoritmos de aprendizaje automático basados en árboles (como bosques aleatorios) supera significativamente a la estimación directa, ofreciendo una alternativa precisa y escalable para reducir la dependencia de costosas pruebas de campo.
Este trabajo presenta la Tarea 5 del Desafío DCASE 2025, un nuevo benchmark de respuesta a preguntas sobre audio que abarca múltiples dominios acústicos para evaluar y mejorar las capacidades de razonamiento de los modelos de audio-lenguaje.
El artículo presenta FreeKV, un marco de co-optimización sin entrenamiento que combina técnicas de recuperación especulativa y corrección de granularidad fina con una arquitectura de sistema híbrida en CPU/GPU para lograr una aceleración de hasta 13 veces en la inferencia de LLMs manteniendo una precisión casi sin pérdidas.
Este artículo presenta un enfoque neuro-simbólico que combina la recuperación de problemas análogos y la verificación formal para mejorar significativamente la precisión en la generación de pruebas de geometría euclidiana por parte de modelos de lenguaje grandes, superando sus limitaciones en el razonamiento lógico riguroso.
El documento presenta MAS-ZERO, un marco de diseño de sistemas multiagente autoevolutivo que, sin supervisión ni conjunto de validación, optimiza dinámicamente la descomposición de problemas y la composición de agentes en tiempo de inferencia, superando significativamente a los enfoques manuales y automáticos existentes en tareas de razonamiento, codificación y búsqueda.
El artículo presenta HDLxGraph, un marco innovador que integra la estructura gráfica de los lenguajes de descripción de hardware (HDL) con la generación aumentada por recuperación (RAG) para superar las limitaciones de los métodos actuales en proyectos complejos, complementado con el nuevo conjunto de datos de referencia HDLSearch.
El artículo presenta SwingArena, un marco de evaluación competitiva para modelos de lenguaje grande que simula flujos de trabajo de desarrollo de software reales mediante la interacción de modelos como generadores de parches y revisores, integrando un módulo de generación de código aumentado por recuperación para abordar desafíos de contexto largo en issues de GitHub.
Este trabajo presenta MMTU, un nuevo benchmark a gran escala con más de 28.000 preguntas sobre 25 tareas de tablas del mundo real diseñado para evaluar exhaustivamente las capacidades de comprensión, razonamiento y manipulación de datos estructurados en modelos de lenguaje, revelando que incluso los modelos más avanzados actuales tienen un margen significativo de mejora.
El artículo presenta CyclicReflex, una estrategia de decodificación sin entrenamiento que optimiza el rendimiento de los modelos de razonamiento mediante la programación cíclica de tokens de reflexión, abordando eficazmente tanto la sobre-reflexión como la sub-reflexión para mejorar el rendimiento en tareas matemáticas y de codificación.
El artículo presenta MeRF, un método que mejora el ajuste fino por refuerzo de modelos de razonamiento grandes al inyectar la especificación de la recompensa en el prompt como una "motivación" que aprovecha la capacidad de aprendizaje en contexto del modelo para alinear la generación con el objetivo de optimización.
El artículo propone un método de verificación auto-ancorada (SGV) que mitiga el sesgo de acuerdo en los modelos de lenguaje multimodal (MLLM), mejorando significativamente la detección de errores y el rendimiento de agentes autónomos en tareas complejas como la navegación web y la robótica.
Este artículo presenta UGST, un nuevo marco y metodología de tres etapas que permite a los simuladores de usuarios basados en modelos de lenguaje grandes (LLM) rastrear y mantener la alineación con sus objetivos durante conversaciones multi-turno, mejorando significativamente su rendimiento en benchmarks como MultiWOZ 2.4 y τ-Bench.
El artículo presenta MathSmith, un marco innovador que genera problemas matemáticos sintéticos de alta dificultad desde cero utilizando el PlanetMath y aprendizaje por refuerzo para superar las limitaciones de los datos de entrenamiento existentes y mejorar significativamente el razonamiento de los modelos de lenguaje en benchmarks complejos.