11383 artículos
El artículo presenta ROSE, un método de poda de un solo paso para grandes modelos de lenguaje que mejora la precisión de SparseGPT al reordenar adaptativamente la eliminación de pesos en función de su pérdida estimada, logrando así un rendimiento superior en diversos modelos.
PixARMesh es un método autoregresivo que reconstruye escenas 3D completas a partir de una sola imagen RGB en una sola pasada, generando mallas coherentes y listas para uso artístico mediante la predicción conjunta de la disposición y la geometría de los objetos sin necesidad de optimización posterior.
Este artículo propone tres técnicas de mitigación de sesgo —filtrado top-k, eliminación de conceptos sesgados y desviación adversaria— para mejorar la equidad en los Modelos de Embudo de Conceptos (CBM) sin sacrificar su interpretabilidad, logrando así un mejor equilibrio entre rendimiento y justicia en la clasificación de imágenes.
El artículo presenta RePO, un nuevo enfoque de optimización que combina aprendizaje por refuerzo con recompensas verificables y guía supervisada basada en referencias para superar las limitaciones de los modelos de lenguaje actuales en la optimización de moléculas, logrando un mejor equilibrio entre la exploración de nuevas estructuras y la explotación de referencias existentes sin necesidad de datos de trayectoria.
Este artículo presenta un marco integrado que combina una arquitectura de transformador de nodos con análisis de sentimientos basado en BERT para predecir precios de acciones, logrando una mayor precisión y robustez en comparación con modelos tradicionales al capturar dependencias cruzadas y factores de mercado no cuantitativos.
Este artículo propone el diseño experimental de "Reproducción Artificial" (Artificial Replay) para comparar algoritmos de banditos multi-brazo, el cual reduce significativamente los costos de experimentación y la varianza del estimador al reutilizar las recompensas registradas de una política para evaluar otra, en lugar de ejecutar ambas de forma independiente.
Este trabajo presenta Weak-SIGReg, un regularizador de covarianza eficiente que estabiliza el entrenamiento de arquitecturas de aprendizaje profundo sin bias, como los Vision Transformers, mediante la restricción de la densidad de representaciones hacia una distribución gaussiana isotrópica para prevenir el colapso de la optimización.
Este trabajo demuestra que abordar la falacia ecológica al modelar el contexto lingüístico del autor, mediante técnicas como HuFT y HuLM en un modelo Llama de 8B, mejora significativamente su rendimiento en diversas tareas en comparación con el ajuste fino estándar.
Este trabajo presenta un acelerador en FPGA que elimina el cuello de botella de memoria en la decodificación de Gated DeltaNet (GDN) al mantener el estado recurrente persistente en la memoria BRAM on-chip, logrando una velocidad 4.5 veces superior y una eficiencia energética 60 veces mayor que una GPU NVIDIA H100.
Este artículo propone un marco de reescritura de estilo estructurado que combina la descomposición explícita del estilo en dimensiones léxicas, sintácticas y pragmáticas con una estrategia de condicionamiento implícito mediante distilación de Cadena de Pensamiento, permitiendo que modelos de lenguaje pequeños generen personajes con alta fidelidad estilística sin necesidad de tokens de razonamiento durante la inferencia.
Este artículo presenta modelos interpretables que integran rasgos psicológicos individuales y características situacionales inferidas del lenguaje para predecir el bienestar mental, demostrando que un enfoque basado en teorías psicológicas ofrece un rendimiento competitivo y una mayor comprensión humana en comparación con las representaciones de modelos de lenguaje.
El artículo presenta OMGD, un método de optimización eficiente en memoria basado en la traversa de máscaras que ofrece una complejidad de iteración estrictamente mejorada de en entornos no convexos y demuestra mejoras consistentes en tareas de ajuste fino y preentrenamiento de modelos de lenguaje grandes.
El artículo presenta TADPO, un nuevo sistema de aprendizaje por refuerzo basado en visión que permite la conducción autónoma de alta velocidad en terrenos off-road complejos, logrando por primera vez una transferencia cero-shot de simulación a la realidad en un vehículo a escala completa.
El artículo presenta EvoESAP, un marco de búsqueda evolutiva que optimiza la asignación no uniforme de la dispersidad entre capas en modelos MoE escasos mediante una métrica de proxy llamada ESAP, logrando mejoras significativas en la generación de texto abierto sin sacrificar la precisión en comparación con los métodos de poda uniformes.
Este artículo demuestra que el estancamiento del aprendizaje en PPO se debe a que las estimaciones basadas en muestras se vuelven pobres proxies del objetivo real, y propone escalar a más de un millón de entornos paralelos como una solución robusta para reducir el ruido y el tamaño del paso, permitiendo mejoras de rendimiento monótonas hasta un billón de transiciones.
Este trabajo mejora el análisis de Klivans et al. demostrando que un grado de polinomio de es suficiente para la aproximación bajo distribuciones gaussianas, lo que proporciona límites (casi) óptimos para el aprendizaje agnóstico de funciones umbral polinómicas en el modelo de consultas estadísticas.
Este artículo demuestra que la dinámica de Langevin, combinada con el promediado de iteraciones, puede recuperar una dirección oculta en entornos de alta dimensión con un número de muestras óptimo () sin necesidad de un suavizado explícito del paisaje, emulando dicho efecto mediante la inyección de ruido y el promediado.
El artículo presenta TempoSyncDiff, un marco de difusión latente basado en destilación que genera cabezas parlantes impulsadas por audio con baja latencia y alta consistencia temporal, mitigando problemas como el parpadeo y la deriva de identidad mediante un enfoque maestro-alumno y condicionamiento basado en visemas.
El artículo presenta IR-GeoDiff, un modelo de difusión latente que recupera geometrías moleculares tridimensionales a partir de espectros infrarrojos integrando información espectral en las representaciones de nodos y arcos, superando las limitaciones de los enfoques anteriores basados en estructuras unidimensionales o bidimensionales.
Este artículo propone SGDF, un optimizador basado en el filtrado lineal óptimo que recalibra dinámicamente el momento en el descenso de gradiente estocástico para equilibrar la supresión de ruido y la preservación de la señal, logrando un rendimiento superior o comparable al de los métodos de vanguardia.