138 artículos
{\lambda}Scale es un sistema de inferencia serverless para grandes modelos de lenguaje que acelera la escalabilidad mediante el uso de redes RDMA para la multicasting rápida de modelos y la ejecución distribuida durante la carga, logrando mejoras significativas en la latencia y reducción de costos.
El paper presenta FAST, un planificador eficiente para comunicaciones All-to-All(v) en clusters de GPU que resuelve problemas de desequilibrio de carga y congestión mediante rebalanceo interno y transferencias equilibradas, logrando superar a las soluciones existentes en rendimiento y reducir el tiempo de síntesis en órdenes de magnitud.
Este trabajo presenta "Linear Layouts", un enfoque novedoso que modela la disposición de tensores mediante álgebra lineal sobre para generar código eficiente, permitir conversiones genéricas entre layouts y reducir la complejidad en compiladores como Triton.
El artículo presenta PyloChain, una blockchain jerárquica y fragmentada que equilibra rendimiento y disponibilidad mediante la ejecución especulativa en cadenas locales y un consenso BFT eficiente en una cadena principal basada en DAG, logrando un mayor rendimiento y menor latencia que las soluciones existentes.
Este estudio evalúa sistemáticamente el potencial de la ejecución consciente del carbono en flujos de trabajo científicos, demostrando que estrategias como el desplazamiento temporal y el escalado dinámico de recursos pueden reducir las emisiones de carbono en más de un 80% y un 67%, respectivamente.
El artículo presenta A-3PO, un método que acelera el entrenamiento asíncrono de modelos de lenguaje grandes al aproximar la política proximal mediante interpolación simple en lugar de calcularla explícitamente, logrando una aceleración de 1.8x sin comprometer el rendimiento.
Este artículo demuestra que el rendimiento real de la transferencia de datos a gran escala depende de un diseño holístico hardware-software que aborde seis paradigmas críticos más allá del ancho de banda de la red, introduciendo el modelo de "Patrón de Cuenca de Drenaje" para identificar y resolver los cuellos de botella que limitan el rendimiento en entornos de producción.
El análisis empírico de este paper demuestra que la suposición de que una fracción significativa de proponentes de bloques en Ethereum actúa de forma altruista es incorrecta, ya que menos del 1,4% cumple consistentemente con los objetivos de descentralización, lo que evidencia la necesidad de implementar mecanismos de incentivos o penalizaciones que no dependan de la buena voluntad de los participantes para garantizar la equidad.
Este artículo analiza las estrategias de paralelización para la implementación de modelos de lenguaje grandes (LLM) densos, demostrando que la paralelización tensorial optimiza la latencia mientras que la paralelización de pipeline mejora el rendimiento, permitiendo mediante su combinación un control efectivo sobre el equilibrio entre ambos factores.
Este artículo presenta una nueva cola de robo de trabajo sin bloqueos optimizada para un marco maestro-trabajador en la resolución de programación entera mixta mediante diagramas de decisión, que ofrece operaciones por lotes nativas y un rendimiento de latencia constante superior al de las implementaciones existentes como Taskflow.
Este artículo presenta un nuevo método de gradiente conmutativo ponderado por softmax para la optimización minimax estocástica distribuida con restricciones estocásticas, que garantiza una convergencia estable y de alta probabilidad en escenarios de aprendizaje federado con participación parcial, superando las limitaciones de los enfoques tradicionales basados en primal-dual o penalizaciones.
Este artículo presenta dos algoritmos distribuidos que garantizan la reunión determinista en tiempo finito de robots móviles autónomos bajo el modelo de vista defectuosa adversaria, resolviendo casos abiertos en sincronía total y estableciendo la convergencia en entornos asíncronos con restricciones de visibilidad.
El sistema StreamWise aborda los desafíos de costo y complejidad en la generación de contenido multimodal en tiempo real mediante un diseño de servicio adaptativo y modular que gestiona dinámicamente la calidad, la paralelización de modelos y la asignación de recursos en hardware heterogéneo, logrando una latencia de inicio inferior a un segundo con un costo inferior a 45 dólares.
Este artículo propone un marco de razonamiento impulsado por conocimiento para la IA agencial móvil que extrae y sincroniza estructuras de decisión reutilizables para superar las limitaciones de recursos y conectividad, demostrando mediante un caso de estudio en UAV que una exposición equilibrada al conocimiento permite a modelos pequeños lograr una fiabilidad perfecta con menor costo computacional.
El artículo presenta DMM, un marco de fusión de modelos sin datos que aborda la divergencia entre modelos especializados mediante la síntesis de pseudo-datos y la destilación de conocimiento, logrando un rendimiento superior al estado del arte en benchmarks unimodales y multimodales.
El artículo presenta LegalEdge, un marco de inteligencia en el borde que integra aprendizaje federado y redes de Q profundas en contratos inteligentes para optimizar la infraestructura de carga de vehículos eléctricos mediante la gestión transparente de precios y la preservación de la privacidad de los datos.
El artículo presenta Provuse, una optimización transparente del lado de la plataforma que fusiona automáticamente funciones en entornos FaaS para eliminar instancias redundantes, reduciendo la latencia y el consumo de recursos sin requerir cambios en el código del desarrollador.
El artículo presenta MoEless, el primer marco de servicio de modelos de lenguaje grandes tipo Mezcla de Expertos (MoE) basado en computación sin servidor, que utiliza predictores de carga y estrategias de escalado optimizadas para mitigar el desequilibrio de expertos, reduciendo la latencia de inferencia en un 43% y los costos en un 84% en comparación con soluciones existentes.
Este artículo presenta un análisis comparativo exhaustivo de cinco estándares y marcos principales de tokens transcadena (xERC20, OFT, NTT, CCT y SuperchainERC20), examinando sus diferencias en arquitectura, mecanismos de paso de mensajes, modelos de confianza y compatibilidad de ecosistemas.
El paper presenta OrchMLLM, un marco que utiliza un equilibrador de lotes posterior y un orquestador global para mitigar la incoherencia en la composición de modalidades y mejorar la eficiencia y escalabilidad del entrenamiento de modelos grandes de lenguaje multimodal.