How Response Parsing Manufactures Scaling Laws: A Replication and Measurement-Validity Audit of Constraint-Tracking Capacity in LLMs

Imagina un programa informático que puede leer una lista de reglas y seguirlas perfectamente, sin importar lo larga que sea la lista. Esta es la promesa de la inteligencia artificial moderna, específicamente de un tipo de sistema llamado modelo de lenguaje de gran tamaño. Estos programas son entrenados con vastas cantidades de texto y pueden responder preguntas, escribir historias o resolver problemas. A medida que estos sistemas crecen, con más componentes internos y más datos, generalmente se vuelven mejores en tareas complejas. Los científicos se han preguntado durante mucho tiempo si existe un límite estricto para cuántas instrucciones independientes puede contener un solo modelo en su "mente" a la vez. Si le das a un modelo diez reglas para seguir, ¿puede hacerlo? ¿Qué tal veinte? ¿La capacidad de seguir reglas crece de manera constante a medida que el modelo se hace más grande, o se rompe repentinamente?

Un estudio reciente afirmó haber encontrado una respuesta precisa a esta pregunta. Sugirió que, a medida que los modelos crecen, su capacidad para rastrear múltiples reglas crece de acuerdo con un patrón matemático específico, como una curva predecible. Los investigadores propusieron que un modelo pequeño podría fallar tras solo unas pocas reglas, mientras que un modelo más grande podría manejar muchas más, y que esta relación seguía una ley estricta. Esta idea era emocionante porque ofrecía una forma de predecir exactamente qué tan capaz sería una futura máquina basándose en su tamaño. Sin embargo, una nueva investigación ha examinado de cerca los números originales y los métodos utilizados para obtenerlos, y cuenta una historia diferente. El nuevo trabajo encuentra que, si bien la idea básica de un límite es real, la ley específica que describe cómo crece ese límite no está respaldada por la evidencia.

La investigación comenzó reexaminando los registros de datos originales, que son los registros de lo que los modelos realmente escribieron en respuesta a las pruebas. Los investigadores construyeron una forma nueva y más estricta de leer estas respuestas. En el estudio original, el programa informático utilizado para calificar las respuestas tenía una red de seguridad: si no encontraba suficientes respuestas claras en una respuesta, escaneaba todo el texto nuevamente, buscando las palabras "sí" o "no" en cualquier parte donde aparecieran. Si encontraba estas palabras, las contaba como respuestas correctas, incluso si el modelo nunca las había pretendido realmente como respuestas a las preguntas específicas. Esta red de seguridad se activó en casi una cuarta parte de las pruebas. Esencialmente, llenaba los huecos por los modelos, otorgando crédito por palabras que los modelos habían escrito por accidente o como parte de una oración, en lugar de como respuestas directas.

Cuando los nuevos investigadores eliminaron esta red de seguridad y obligaron al ordenador a contar solo las respuestas que estuvieran claramente y correctamente formateadas, los resultados cambiaron. El fenómeno de un límite todavía existía. Un modelo más pequeño sí tuvo dificultades y finalmente falló al seguir muchas reglas, mientras que un modelo más grande de la misma familia funcionó mucho mejor. Esto confirmó que la observación central era real: los modelos tienen un límite de capacidad y el tamaño importa. Sin embargo, la curva específica que describía cómo crecía esta capacidad desapareció. La afirmación original de que la capacidad de seguir reglas se duplicaba o triplicaba de una manera predecible a medida que el modelo se hacía más grande era una ilusión creada por la forma en que se contaban las respuestas.

Los investigadores luego probaron este método corregido en una gama mucho más amplia de modelos, incluyendo ocho familias diferentes de sistemas disponibles a través de servicios en línea. Encontraron que la ley matemática original no se sostenía. En un tipo de tarea, los modelos no mostraron el crecimiento predicho; en su lugar, chocaron contra un techo donde no podían manejar más de un cierto número de reglas, independientemente de qué tan grandes fueran. En otra tarea, los modelos parecían seguir todas las reglas perfectamente, pero esto era porque simplemente estaban repitiendo las instrucciones en un párrafo largo en lugar de rastrear cada regla individualmente. En varios casos, los modelos fallaron no porque carecieran de la inteligencia para seguir las reglas, sino porque no siguieron el formato estricto requerido para obtener una calificación de aprobado. Escribieron ensayos largos y reflexivos cuando la prueba exigía una lista simple, y el sistema de calificación contó esto como un fallo total.

La investigación también analizó la teoría utilizada para explicar por qué los modelos se comportaban de la manera en que lo hacían. El estudio original sugirió que el límite estaba determinado por una característica arquitectónica específica de los modelos, un número calculado a partir de su estructura interna. La nueva auditoría encontró que los dos modelos utilizados para probar esta teoría tenían exactamente el mismo valor para esta característica, y sin embargo, se desempeñaron de manera muy diferente. Esto significaba que la teoría no podía realmente explicar la diferencia entre ellos. La explicación propuesta era demasiado amplia para ser útil; permitía cualquier resultado, por lo que no podía predecir el resultado específico observado.

La conclusión final es que la capacidad de estas máquinas para rastrear múltiples restricciones es algo real y medible, pero la ley matemática precisa que se afirmó que la describía aún no está respaldada. El hallazgo original fue una mezcla de un descubrimiento genuino y un error de medición. El error provino de una elección común e invisible en cómo el ordenador leía las respuestas, una elección que accidentalmente llenaba los datos faltantes y creaba un patrón falso. Los investigadores enfatizan que esto no significa que los modelos sean perfectos o que comprendamos plenamente sus límites. Simplemente significa que la afirmación específica sobre una ley de escala predecible se construyó sobre bases inestables. Para avanzar, los estudios futuros deben utilizar reglas más estrictas para leer las respuestas, contar cada respuesta faltante como un fallo y probar muchos más modelos antes de declarar una ley universal. El camino para comprender estas máquinas es claro, pero requiere mirar los datos sin las redes de seguridad que pueden ocultar la verdad.