6231 artículos
El artículo presenta In-Context RLVR, un método que utiliza el "Ganancia de Evidencia" derivada del aprendizaje en contexto para reponderar implícitamente las recompensas y priorizar trazas de razonamiento de alta calidad durante el entrenamiento, mejorando así tanto la precisión como la calidad del razonamiento en modelos de lenguaje.
Este artículo presenta el "pseudo-proyector", una modificación ligera inspirada en el paradigma multigrid que corrige las representaciones ocultas de los modelos basados en transformadores para reducir la sensibilidad al ruido y mejorar la dinámica de entrenamiento y la robustez sin alterar su arquitectura central.
Este artículo presenta un marco jerárquico novedoso de aprendizaje multi-tarea y multi-fidelidad basado en procesos gaussianos que unifica la similitud entre tareas y las características de los datos de diferentes fidelidades para mejorar la precisión y la eficiencia en el modelado sustituto de sistemas de fabricación.
Este artículo presenta HR-GAT, un modelo de red de atención gráfica jerárquica que utiliza datos geoespaciales para predecir la demanda de espectro con una precisión un 21% superior a la de modelos convencionales, abordando eficazmente los patrones espaciales complejos y la autocorrelación en cinco ciudades canadienses.
El artículo presenta GAST, un método innovador de ajuste fino eficiente en parámetros que supera las limitaciones de los enfoques existentes al realizar simultáneamente una selección adaptativa de datos y capas mediante un alineamiento de gradientes, logrando así un rendimiento superior al reducir la redundancia informativa.
El artículo presenta CarbonBench, el primer punto de referencia global que utiliza aprendizaje cero-shot para evaluar y estandarizar la escalabilidad de los flujos de carbono en ecosistemas no observados, integrando más de 1,3 millones de datos de 567 torres de flujo para mejorar la modelización climática y la contabilidad de carbono.
El artículo presenta MSSR, un marco de repetición de experiencias que estima la fuerza de la memoria a nivel de muestra y programa ensayos en intervalos adaptativos para mitigar el olvido catastrófico y mantener una adaptación rápida durante el ajuste fino continuo de modelos de lenguaje grandes.
El artículo presenta OptEMA, un nuevo optimizador basado en medias móviles exponenciales adaptativas que logra tasas de convergencia óptimas en el régimen de ruido cero sin requerir conocimiento previo de constantes de Lipschitz ni reconfiguración manual de hiperparámetros.
Este artículo demuestra teóricamente que el modelado generativo mediante deriva es equivalente al ajuste de puntuaciones (score matching) bajo un kernel gaussiano, estableciendo un marco variacional y espectral que explica la convergencia, justifica el uso de kernels laplacianos y la importancia del operador stop-gradient, mientras propone un nuevo esquema de annealing para acelerar el entrenamiento.
El artículo presenta SignalMC-MED, un nuevo benchmark multimodal basado en 22,256 visitas con señales sincronizadas de ECG y PPG que evalúa modelos fundacionales de biosignales, demostrando que los modelos específicos del dominio superan a los generales, la fusión multimodal mejora los resultados y las características manuales siguen siendo valiosas.
Este artículo presenta el Indicador de Sobreajuste-Subajuste (OUI) como una señal estructural temprana y eficiente que, al analizar los patrones de activación de las neuronas en PPO, permite discriminar con precisión entre tasas de aprendizaje óptimas e inestables mucho antes de completar el entrenamiento, diferenciando además los comportamientos ideales de las redes actor y crítico.
Este trabajo introduce los "neural debuggers", modelos de lenguaje que emulan las funciones de los depuradores tradicionales permitiendo la ejecución interactiva paso a paso y la inferencia de estados, lo que sienta las bases para sistemas de codificación autónomos más avanzados.
Este artículo propone una nueva familia de optimizadores basados en normas de operadores normalizadas (como MOGA) que garantizan una estabilidad independiente del ancho de la red y permiten una transferencia efectiva de hiperparámetros, superando las limitaciones de métodos existentes como AdamW y Muon mediante una perspectiva geométrica de descenso de gradiente.
El paper presenta C2FMAE, un autoencoder enmascarado de aprendizaje auto-supervisado que resuelve la tensión entre el aprendizaje de semántica global y detalles locales mediante un enfoque jerárquico de tres niveles (semántico, de instancia y píxel) con un decodificador en cascada y un currículo de enmascaramiento progresivo, logrando mejoras significativas en tareas de visión por computadora.
El estudio demuestra que, a diferencia de los humanos, el razonamiento en los modelos de lenguaje grandes aumenta consistentemente la honestidad al navegar por un espacio de representación donde las respuestas engañosas son inestables y las honestas son más robustas.
Este artículo demuestra que, en escenarios realistas con características correlacionadas, la superposición en redes neuronales puede aprovechar la interferencia constructiva mediante la organización de características según sus patrones de co-activación, lo que genera estructuras semánticas y cíclicas que no se explican mediante el modelo tradicional de superposición basado en características no correlacionadas.
El artículo presenta TAM-RL, un marco que combina el aprendizaje de representaciones espaciotemporales con restricciones físicas derivadas del balance de carbono para mejorar significativamente la precisión y la generalización en la extrapolación de flujos de carbono terrestres a escala global.
Este artículo presenta dos algoritmos de detección de puntos de cambio basados en redes neuronales y aprendizaje en línea que, al demostrar complejidad computacional lineal y convergencia a soluciones óptimas, superan a los métodos existentes en diversos conjuntos de datos sintéticos y reales.
Los autores proponen una extensión de los modelos semi-paramétricos basados en árboles de regresión bayesianos aditivos (BART) que permite compartir covariables entre los componentes paramétrico y no paramétrico mediante la modificación de las operaciones de generación de árboles, lo que resuelve problemas de no identificabilidad y sesgo mientras mejora la interpretación de efectos principales e interacciones complejas.
Este artículo presenta un marco de máquina de vectores de soporte (SVM) de caja blanca optimizado mediante algoritmos de enjambre para la supervisión en tiempo real del desgaste de fresas dentadas mediante la caracterización de las vibraciones del husillo.