Quantifying Logical Consistency in Transformers via Query-Key Alignment

Los modelos de lenguaje de gran tamaño se han vuelto notablemente hábiles para imitar la conversación humana, escribir poesía y resumir textos complejos. Logran esto prediciendo la siguiente palabra en una oración basándose en vastas cantidades de datos de entrenamiento. Sin embargo, cuando se les pide resolver un acertijo lógico de múltiples pasos, estos sistemas suelen tropezar. Pueden generar una cadena de razonamiento que suena convincente pero que conduce a una conclusión completamente errónea, o pueden distraerse con detalles irrelevantes en la instrucción. Si bien los investigadores han encontrado formas de inducir un mejor rendimiento en estos modelos pidiéndoles que "piensen paso a paso", un problema fundamental persiste: los modelos mismos no tienen una forma integrada de verificar si su propio razonamiento es realmente coherente. Pueden producir un camino lógico aparente sin comprender verdaderamente si los pasos se conectan correctamente.

Esta incertidumbre crea un punto ciego en la inteligencia artificial. Podemos ver la respuesta final que da un modelo, pero no podemos ver fácilmente las señales internas que indican si el modelo está siguiendo realmente las reglas de la lógica o si solo está adivinando. Para abordar esto, un equipo de investigadores del Instituto de Ciencia y Tecnología de Skolkovo y otras instituciones ha desarrollado una nueva forma de mirar dentro de la "mente" del modelo durante el proceso de razonamiento. En lugar de esperar a que el modelo termine su respuesta y luego verificar si es correcta, observan las conexiones internas específicas que el modelo realiza mientras aún está pensando. Descubrieron que ciertas partes de la arquitectura del modelo actúan como puntos de control fiables, señalando si un paso lógico es válido mucho antes de que se pronuncie la respuesta final.

Los investigadores se centraron en cómo estos modelos procesan la información internamente. Dentro de un modelo de lenguaje de gran tamaño, la información fluye a través de capas de operaciones matemáticas. En el corazón de este proceso se encuentran los "cabezales de atención" (attention heads), que actúan como diminutos interruptores que deciden en qué partes de la entrada es importante enfocarse en cada momento dado. El equipo descubrió que podían medir la alineación entre dos señales específicas dentro de estos cabezales: la señal que representa la afirmación que se está probando y la señal que representa la posible respuesta. Al calcular una puntuación simple basada en qué tan bien se alinean estas dos señales, podían determinar si el modelo reconocía la conexión lógica entre una premisa y una conclusión.

Para probar esta idea, los investigadores realizaron experimentos en una amplia variedad de tareas de razonamiento lógico. Utilizaron conjuntos de datos sintéticos donde las reglas eran claras y las respuestas eran definitivamente verdaderas o falsas, como determinar si un personaje llamado Polly es opaco basándose en un conjunto de reglas ficticias sobre rompus y jompus. También probaron el método en conjuntos de datos más complejos que involucraban lenguaje del mundo real y múltiples pasos de deducción. En estas pruebas, compararon el rendimiento de su nuevo método de puntuación interna contra la forma estándar en que el modelo responde, que es simplemente elegir la opción con la mayor probabilidad.

Los resultados mostraron que el método de puntuación interna era significativamente más fiable que la propia conjetura final del modelo. En escenarios donde el modelo era presentado con información distractora e irrelevante, el modelo estándar a menudo se confundía y daba la respuesta incorrecta. Sin embargo, las señales internas específicas que los investigadores rastreaban se mantenían estables, identificando correctamente el camino lógico válido incluso cuando la salida final del modelo era errónea. Esto sugiere que el modelo posee en realidad la capacidad de razonamiento correcta en lo profundo de sus capas, pero que esa capacidad a veces puede verse oscurecida por etapas posteriores del procesamiento o por el ruido del contexto distractor.

El equipo probó este enfoque en modelos que iban desde muy pequeños con 1.5 mil millones de parámetros hasta masivos con 70 mil millones de parámetros. En todos los casos, encontraron que cabezales de atención específicos actuaban consistentemente como "anclas de verificación". Estos cabezales podían distinguir entre inferencias válidas e inválidas con alta precisión, independientemente de cuántos pasos requiriera el razonamiento o cuántas distracciones hubiera presentes. En algunos casos, la puntuación interna era correcta más del 90 por ciento de las veces, mientras que la respuesta final del modelo era correcta en menos del 60 por ciento. Esto indica que el modelo a menudo "sabe" la respuesta correcta internamente pero falla al expresarla correctamente en su salida final.

Uno de los hallazgos más significativos fue que este método no requiere cambiar el modelo ni reentrenarlo. Los investigadores simplemente podían ejecutar el modelo una vez, observar las señales internas y derivar una puntuación que era a menudo más precisa que la propia predicción del modelo. Esto ofrece una forma ligera y eficiente de evaluar la consistencia lógica sin el pesado costo computacional de los métodos anteriores, que a menudo implicaban deshabilitar partes del modelo para ver qué sucedía. El estudio sugiere que, al identificar estos componentes internos específicos, podemos obtener una ventana más clara de cómo la inteligencia artificial procesa relaciones complejas, acercándonos a sistemas que no solo son fluidos en el lenguaje, sino también fiables en su razonamiento.

Los investigadores señalaron que su método funciona mejor cuando hay una cantidad suficiente de datos para calibrar qué señales internas específicas se deben confiar para una tarea determinada. También reconocieron que este enfoque no significa que estas partes específicas sean las únicas responsables de la lógica, ni que resuelva todos los problemas con el razonamiento en la inteligencia artificial. Sin embargo, el trabajo proporciona una forma concreta y medible de ver dónde la lógica se mantiene y dónde se rompe, ofreciendo una nueva herramienta para construir modelos de lenguaje más transparentes y confiables. Al centrarse en la alineación de las señales internas en lugar de solo en la salida final, el estudio revela que la capacidad para un razonamiento sólido a menudo existe dentro del modelo, esperando ser leída adecuadamente.