7279 artículos
Este estudio utiliza crosscoders para comparar modelos MoE y densos, revelando que los MoE desarrollan representaciones más especializadas con menos características únicas y mayor densidad de activación en sus características específicas, mientras que los modelos densos distribuyen la información en características más amplias y generalistas.
El artículo "MoE Lens" demuestra mediante un análisis sistemático del modelo DeepSeekMoE que la especialización de los expertos en las arquitecturas Mixture of Experts está altamente concentrada en unos pocos dominantes, lo que sugiere que es posible optimizar la inferencia mediante la poda selectiva de expertos sin comprometer significativamente el rendimiento del modelo.
El artículo presenta MaCS, un marco de regularización simple y agnóstico a la arquitectura que mejora la calibración y la robustez de los modelos de visión mediante la combinación de una penalización de margen en el espacio de logits y un regularizador de consistencia, logrando mejores garantías teóricas y rendimiento empírico sin requerir datos adicionales ni cambios arquitectónicos.
El artículo presenta SEA-PEFT, un método de ajuste fino eficiente en parámetros que automatiza la configuración de adaptadores mediante un bucle de búsqueda-auditoría-asignación para superar los desafíos de la adaptación de modelos fundacionales a nuevos sitios clínicos con pocos datos en segmentación 3D de imágenes médicas.
Este estudio evalúa empíricamente la adaptación en tiempo de prueba mediante prompting con muchas muestras en modelos de lenguaje, revelando que aunque es eficaz para tareas estructuradas con alto valor informativo, su utilidad es limitada y sensible a la estrategia de selección en tareas de generación abierta, lo que permite definir sus límites prácticos frente a otras estrategias como el ICL dinámico y reforzado.
ReflexiCoder es un nuevo marco de aprendizaje por refuerzo que entrena a modelos de lenguaje grandes para internalizar la capacidad de autocrítica y autocorrección de código de forma autónoma durante la inferencia, logrando un rendimiento de vanguardia en múltiples benchmarks sin depender de oráculos externos ni motores de ejecución.
El artículo presenta STEP, un marco de predicción estocástica que reformula la predicción de enlaces temporales como un problema de pronóstico secuencial en tiempo continuo mediante transiciones de motivos temporales gobernadas por procesos de Poisson, logrando mejoras significativas en precisión y eficiencia en comparación con los métodos existentes.
El artículo presenta ROSE, un método de poda de un solo paso para grandes modelos de lenguaje que mejora la precisión de SparseGPT al reordenar adaptativamente la eliminación de pesos en función de su pérdida estimada, logrando así un rendimiento superior en diversos modelos.
PixARMesh es un método autoregresivo que reconstruye escenas 3D completas a partir de una sola imagen RGB en una sola pasada, generando mallas coherentes y listas para uso artístico mediante la predicción conjunta de la disposición y la geometría de los objetos sin necesidad de optimización posterior.
Este artículo propone tres técnicas de mitigación de sesgo —filtrado top-k, eliminación de conceptos sesgados y desviación adversaria— para mejorar la equidad en los Modelos de Embudo de Conceptos (CBM) sin sacrificar su interpretabilidad, logrando así un mejor equilibrio entre rendimiento y justicia en la clasificación de imágenes.
El artículo presenta RePO, un nuevo enfoque de optimización que combina aprendizaje por refuerzo con recompensas verificables y guía supervisada basada en referencias para superar las limitaciones de los modelos de lenguaje actuales en la optimización de moléculas, logrando un mejor equilibrio entre la exploración de nuevas estructuras y la explotación de referencias existentes sin necesidad de datos de trayectoria.
Este artículo presenta un marco integrado que combina una arquitectura de transformador de nodos con análisis de sentimientos basado en BERT para predecir precios de acciones, logrando una mayor precisión y robustez en comparación con modelos tradicionales al capturar dependencias cruzadas y factores de mercado no cuantitativos.
Este artículo propone el diseño experimental de "Reproducción Artificial" (Artificial Replay) para comparar algoritmos de banditos multi-brazo, el cual reduce significativamente los costos de experimentación y la varianza del estimador al reutilizar las recompensas registradas de una política para evaluar otra, en lugar de ejecutar ambas de forma independiente.
Este trabajo presenta Weak-SIGReg, un regularizador de covarianza eficiente que estabiliza el entrenamiento de arquitecturas de aprendizaje profundo sin bias, como los Vision Transformers, mediante la restricción de la densidad de representaciones hacia una distribución gaussiana isotrópica para prevenir el colapso de la optimización.
Este trabajo demuestra que abordar la falacia ecológica al modelar el contexto lingüístico del autor, mediante técnicas como HuFT y HuLM en un modelo Llama de 8B, mejora significativamente su rendimiento en diversas tareas en comparación con el ajuste fino estándar.
Este trabajo presenta un acelerador en FPGA que elimina el cuello de botella de memoria en la decodificación de Gated DeltaNet (GDN) al mantener el estado recurrente persistente en la memoria BRAM on-chip, logrando una velocidad 4.5 veces superior y una eficiencia energética 60 veces mayor que una GPU NVIDIA H100.
Este artículo propone un marco de reescritura de estilo estructurado que combina la descomposición explícita del estilo en dimensiones léxicas, sintácticas y pragmáticas con una estrategia de condicionamiento implícito mediante distilación de Cadena de Pensamiento, permitiendo que modelos de lenguaje pequeños generen personajes con alta fidelidad estilística sin necesidad de tokens de razonamiento durante la inferencia.
Este artículo presenta modelos interpretables que integran rasgos psicológicos individuales y características situacionales inferidas del lenguaje para predecir el bienestar mental, demostrando que un enfoque basado en teorías psicológicas ofrece un rendimiento competitivo y una mayor comprensión humana en comparación con las representaciones de modelos de lenguaje.
El artículo presenta OMGD, un método de optimización eficiente en memoria basado en la traversa de máscaras que ofrece una complejidad de iteración estrictamente mejorada de en entornos no convexos y demuestra mejoras consistentes en tareas de ajuste fino y preentrenamiento de modelos de lenguaje grandes.
El artículo presenta TADPO, un nuevo sistema de aprendizaje por refuerzo basado en visión que permite la conducción autónoma de alta velocidad en terrenos off-road complejos, logrando por primera vez una transferencia cero-shot de simulación a la realidad en un vehículo a escala completa.