Does Accuracy Equal Evidence? Reasoning Faithfulness under KV Cache Compression

Imagina un mundo donde computadoras gigantes y superinteligentes actúan como detectives incansables, resolviendo misterios complejos escribiendo todo su proceso de pensamiento paso a paso antes de darte el veredicto final. Así es como funcionan los modernos "Modelos de Razonamiento de Gran Escala": no solo adivinan la respuesta, sino que construyen una larga historia lógica para demostrar por qué están en lo cierto. Pero estas historias pueden volverse increíblemente largas, ocupando una cantidad masiva de la memoria de la computadora, algo así como un detective intentando mantener cada pista, declaración de testigo y mapa en su cabeza al mismo la vez. Para hacer que estas computadoras sean más rápidas y baratas de ejecutar, los científicos han inventado un truco llamado "compresión del caché KV". Piensa en esto como un sistema de archivo mágico que desecha las partes "aburridas" o "redundantes" de las notas del detective para ahorrar espacio, conservando solo los fragmentos más importantes para que la computadora pueda seguir resolviendo el caso.

Durante mucho tiempo, todos asumieron que si este sistema de archivo mantenía la respuesta final correcta, también habría mantenido las pistas importantes que llevaron a esa respuesta. Parecía lógico: si el detective dice "El mayordomo fue el culpable", y la respuesta es correcta, entonces las notas debían ser buenas, ¿verdad? Pero un nuevo estudio sugiere que esto podría ser una ilusión peligrosa. Los investigadores descubrieron que puedes tener un detective que obtiene la respuesta correcta pero que ha olvidado por completo (o desechado) la evidencia que la demuestra. Descubrieron que la computadora podría estar "alucinando" una conclusión correcta basada en una cadena de lógica rota, y como solo estábamos verificando la respuesta final, no nos dimíamos cuenta de que la computadora en realidad estaba inventando cosas. Esto es un gran problema porque, en la vida real, como en la medicina o la ciencia, saber por qué una respuesta es correcta es tan importante como la respuesta misma.

El gran misterio de la "Respuesta Correcta, Razón Errónea"

En este artículo, los investigadores de la Universidad de Illinois en Urbana-Champaign decidieron poner a prueba este "sistema de archivo mágico". Querían ver si comprimir la memoria de la computadora realmente preserva el razonamiento detrás de la respuesta, o si solo preserva la respuesta misma mientras tritura la prueba. Para lograrlo, diseñaron un experimento ingenioso que actúa como una repetición de viaje en el tiempo.

Primero, dejaron que una computadora superinteligente (sin compresión de memoria) resolviera una serie de problemas difíciles, como acertijos matemáticos complicados, preguntas científicas y cálculos médicos. Guardaron todo el "rastro de pensamiento" de la computadora: la historia completa, paso a paso, que escribió. Luego, tomaron esa misma historia y le pidieron a diferentes métodos de compresión que "reprodujeran" el final. La computadora se vio obligada a usar la versión comprimida y de ahorro de memoria de sus notas para terminar la historia. La clave aquí es que el texto de la historia era fijo; lo único que cambiaba era la memoria interna de la computadora sobre lo que acababa de leer. Esto permitió a los investigadores aislar exactamente qué le estaba haciendo la compresión a la capacidad de la computadora para entender sus propias notas.

Probaron once métodos de compresión diferentes, incluyendo aquellos que desechan viejos tokens, los que fusionan ideas similares y uno que simplemente reduce el tamaño de las notas sin desechar nada. Observaron tres cosas:

1. Precisión Final: ¿Obtuvo la computadora la respuesta correcta?
2. Consistencia de la Cadena: ¿Era la historia que contaba realmente lógica y correcta, o se saltaba pasos e inventaba cosas?
3. Fidelidad: Si introducían una respuesta incorrecta en medio de la historia, ¿la detectaría la computadora o seguiría ciegamente el error?

El descubrimiento impactante: La "Brecha entre Respuesta y Evidencia"

Los resultados fueron reveladores. Los investigadores encontraron una enorme brecha entre obtener la respuesta correcta y tener la evidencia correcta. A esto lo llaman la "Brecha entre Respuesta y Evidencia".

Esto fue lo que sucedió: en tareas difíciles de matemáticas y ciencia, muchos de los métodos de compresión fueron capaces de producir la respuesta final correcta a una tasa que parecía casi tan buena como la de la computadora completa y sin comprimir. Sin embargo, cuando los investigadores revisaron el razonamiento detrás de esas respuestas, fue un desastre. La computadora a menudo producía "respuestas correctas con cadenas erróneas". Esto significa que el número o la elección final era correcto, pero el camino para llegar allí estaba lleno de huecos, saltos lógicos o hechos inventados.

Por ejemplo, en un examen de matemáticas llamado AIME, algunos métodos comprimidos obtuvieron la respuesta correcta aproximadamente el 50% de las veces. Pero cuando analizaron cómo llegó la computadora allí, descubrieron que en muchos de esos casos "correctos", la computadora había saltado pasos cruciales, usado las fórmulas incorrectas o simplemente adivinó la respuesta e intentó escribir una historia falsa para justificarla. Es como un estudiante que obtiene la respuesta correcta en un examen pero escribió "Usé magia" como su explicación.

El estudio mostró que esta brecha es especialmente grave para los métodos que evictan (desechan) partes de la memoria. Estos métodos parecen conservar los "indicios de la respuesta" —los fragmentos de texto que parecen la conclusión final— mientras desechan el "soporte de la evidencia", como los cálculos intermedios y los pasos de verificación. Es como si el sistema de archivos hubiera guardado el sello de "Caso Cerrado" pero hubiera tirado todos los informes policiales y las huellas dactilares.

Curiosamente, los investigadores encontraron que la cuantización (un método que reduce el tamaño de las notas sin eliminar ninguna de ellas) funcionó mucho mejor. Mantuvo la cadena de razonamiento mayormente intacta, lo que sugiere que el problema no es solo tener menos memoria, sino específicamente perder el acceso a las partes del rastro de razonamiento que demuestran que la respuesta es correcta.

Por qué esto importa: El peligro de la competencia "falsa"

El artículo argumenta que confiar únicamente en la "Precisión Final" es una trampa. Si solo verificas si la respuesta es correcta, podrías pensar que una computadora comprimida está funcionando perfectamente. Pero en realidad, podría ser un "mentiroso competente": te da la respuesta correcta, pero no puedes confiar en ella porque el razonamiento está roto.

Los investigadores probaron esto mediante la "perturbación" de las historias. Insertaron una respuesta claramente errónea en medio de las notas de la computadora y le pidieron que continuara. La computadora sin comprimir usualmente detectaba el error y se corregía a sí misma. ¿Pero las computadoras comprimidas? Muchas de ellas simplemente aceptaron la mentira, adoptando la respuesta incorrecta porque la evidencia necesaria para detectar el error había sido desechada.

Este es un hallazgo crítico para cualquiera que utilice estos modelos de IA en situaciones de alto riesgo, como diagnosticar a un paciente o resolver un problema de ingeniería complejo. Si un médico confía en una IA que dice "El paciente tiene la Condición X" (que resulta ser cierta), pero el razonamiento de la IA es un caos de hechos incorrectos, el médico no tiene forma de saber si la IA tiene razón realmente o si solo tuvo suerte. El artículo sugiere que necesitamos nuevas formas de evaluar estas computadoras, una que verifique no solo qué dicen, sino cómo llegaron allí.

Conclusión

El estudio concluye que, si bien la compresión puede ahorrar memoria y acelerar las computadoras, a menudo lo hace a costa de la fidelidad del razonamiento. La "Brecha entre Respuesta y Evidencia" es real: los modelos comprimidos pueden preservar la respuesta final mientras degradan la validez del soporte detrás de ella. Los autores sugieren que los futuros métodos de compresión no deberían limitarse a intentar mantener los tokens "más importantes" basándose en la frecuencia con la que aparecen; deben ser más inteligentes al mantener la estructura del razonamiento: las definiciones, los pasos intermedios y las verificaciones. Hasta entonces, debemos ser cautelosos al confiar en modelos de IA que dan la respuesta correcta pero no pueden explicar cómo lo hicieron, porque en el mundo de los modelos de razonamiento de gran escala, una respuesta correcta sin una razón válida es solo un golpe de suerte.