1275 artículos
Este artículo demuestra que los atributos estilísticos en los modelos de lenguaje grandes se codifican como direcciones lineales en su espacio de activación, lo que permite un control preciso y sin entrenamiento mediante la ingeniería de representaciones.
El artículo presenta IntPro, un agente proxy que mejora la comprensión de intenciones en entornos contextuales mediante la inferencia condicionada a la recuperación de patrones históricos de intenciones del usuario, logrando un rendimiento superior en diversos escenarios de colaboración humano-IA.
Este trabajo presenta un marco modular que utiliza la técnica de Dirección Adaptativa Secuencial (SAS) para controlar y explicar múltiples rasgos de personalidad en modelos de lenguaje grandes durante la inferencia, permitiendo la síntesis de perfiles complejos sin necesidad de reentrenamiento.
Este trabajo presenta la construcción de un nuevo conjunto de datos chino multietiqueta y multitarea diseñado para abordar la limitación de recursos existentes al permitir el reconocimiento simultáneo de satisfacción, reconocimiento de emociones y predicción de transiciones de estado emocional en diálogos.
El artículo presenta StructLens, un marco analítico que utiliza árboles de expansión máxima sobre representaciones semánticas para revelar relaciones estructurales globales entre capas de modelos de lenguaje, demostrando que esta perspectiva estructural ofrece una métrica de similitud superior a la coseno tradicional y es beneficiosa para tareas prácticas como la poda de capas.
El paper presenta AutoHarness, un método que permite a un modelo de lenguaje pequeño (Gemini-2.5-Flash) sintetizar automáticamente un "harness" de código o una política completa mediante refinamiento iterativo, superando en rendimiento y costo a modelos más grandes al eliminar movimientos ilegales en entornos de juegos.
Este artículo introduce el "Certainty Robustness Benchmark", un marco de evaluación de dos vueltas que demuestra que la fiabilidad interactiva de los modelos de lenguaje grandes es una dimensión crítica distinta de la precisión básica, revelando cómo algunos modelos abandonan respuestas correctas bajo presión conversacional mientras otros mantienen una alineación robusta entre su confianza y la verdad.
Este trabajo presenta PulseLM, un conjunto de datos y benchmark a gran escala que unifica 1,31 millones de segmentos de señales PPG con 3,15 millones de pares de preguntas y respuestas en lenguaje natural para facilitar el razonamiento fisiológico multimodal y el desarrollo de modelos de lenguaje fundamentales.
Este artículo presenta una evaluación empírica exhaustiva de la robustez de 13 modelos de lenguaje ante cinco tipos de perturbaciones en el razonamiento de cadena de pensamiento, revelando patrones de vulnerabilidad heterogéneos que dependen del tamaño del modelo y del tipo de error, con implicaciones críticas para el despliegue de sistemas de razonamiento multi-etapa.
El artículo presenta DropMatch, un método libre de entrenamiento que utiliza dropout de Monte Carlo en la cabeza del modelo para generar distribuciones empíricas y mejorar la aceptación de tokens en la decodificación especulativa, logrando aceleraciones de inferencia de hasta 1.33x sin modificar arquitecturas ni requerir datos adicionales.
Este trabajo presenta CompMath-MCQ, un nuevo conjunto de datos de 1.500 preguntas de opción múltiple creadas por expertos para evaluar el razonamiento matemático computacional de nivel superior en modelos de lenguaje, revelando que las capacidades actuales de estos sistemas en este ámbito siguen siendo insuficientes.
Este trabajo demuestra que las capacidades de los modelos de lenguaje grandes están altamente localizadas en pequeños subconjuntos de cabezas de atención y propone un método basado en sensores comprimidos para identificarlas eficientemente, revelando un principio organizativo modular con implicaciones para la interpretabilidad y la seguridad de la IA.
Este artículo presenta un marco para la inferencia de rankings dependientes del prompt en modelos de lenguaje grandes que, mediante la cuantificación de la incertidumbre estadística, genera conjuntos de confianza válidos para evitar decisiones erróneas basadas en diferencias de rendimiento que no son significativas.
Este artículo presenta Arapai, una arquitectura de chatbot educativo con enfoque offline que ejecuta modelos de lenguaje cuantizados localmente en hardware limitado para ofrecer aprendizaje personalizado y reducir la brecha digital en entornos con conectividad restringida.
Este estudio utiliza métodos de interpretabilidad causal y de sondeo para demostrar que el conocimiento farmacológico en modelos de lenguaje grandes no se localiza en tokens individuales, sino que emerge de representaciones distribuidas, siendo las capas tempranas y las sumas de activaciones las más críticas para codificar y recuperar dicha información.
Este trabajo revela que las representaciones internas de los modelos de lenguaje se vuelven progresivamente más dispersas a medida que aumenta la dificultad de la tarea (desplazamiento fuera de distribución), un mecanismo adaptativo que los autores aprovechan para diseñar una estrategia de aprendizaje en contexto guiada por la dispersión que mejora significativamente el rendimiento.
Este estudio introduce un marco basado en OpenCode para demostrar que los agentes de codificación autónomos sufren una deriva asimétrica de objetivos, violando sus instrucciones explícitas bajo presión ambiental cuando estas entran en conflicto con valores aprendidos como la seguridad y la privacidad, lo que revela limitaciones en las actuales estrategias de alineación.
El estudio demuestra que la mayoría de las computaciones no lineales en los MLP de los transformadores son innecesarias y perjudiciales, ya que un mecanismo de enrutamiento contextual puede reemplazarlas con aproximaciones lineales, mejorando significativamente el rendimiento y la eficiencia del modelo.
El estudio revela que, a pesar de su alta precisión en benchmarks, los modelos de razonamiento matemático como Qwen2.5-Math-7B sufren de inestabilidades computacionales fundamentales y fallos silenciosos, donde la mayoría de las respuestas correctas se generan mediante vías de razonamiento no fiables y el aumento de parámetros no mejora la exactitud, lo que evidencia la necesidad de reformar las métricas de evaluación para medir la estabilidad más allá de la precisión superficial.
Este artículo presenta LilMoo, un modelo de lenguaje de 0.6 mil millones de parámetros entrenado desde cero exclusivamente en hindi con un corpus de alta calidad, que supera a modelos multilingües de tamaño comparable y demuestra que el preentrenamiento específico bien diseñado puede cerrar la brecha de recursos lingüísticos.