Resumen Técnico: El Algoritmo No es el Comportamiento

Declaración del Problema

Trabajos recientes en interpretabilidad mecánica han demostrado que las redes neuronales pueden aprender y ejecutar algoritmos complejos, tales como la aritmética modular, la búsqueda y la planificación. Sin embargo, persiste una brecha crítica en comprender si la presencia de una estructura algorítmica interna garantiza que el algoritmo determine la salida final del modelo. Específicamente, ¿puede un modelo computar internamente una solución correcta mediante un algoritmo aprendido para luego sobrescribirla con una salida diferente? Este artículo investiga este fenómeno de los "puzles olvidados" en Leela Chess Zero (Lc0), el motor de ajedrez neuronal más fuerte, donde trabajos previos (Jenner et al., 2024) identificaron mecanismos de búsqueda anticipada (look-ahead) aprendidos. Los autores se preguntan: si el algoritmo de búsqueda anticipada funciona correctamente, ¿qué sobrescribe la solución computada en la salida final?

Metodología

Los autores extienden la técnica de la lente de logits (logit lens) (nostalgebraist, 2020) a la arquitectura Post-LN de la red de política de selección de movimientos de Lc0. A diferencia de los modelos de lenguaje decoder-only donde la lente de logits se limita a posiciones de un solo token, la arquitectura encoder-only de Lc0 trata cada casilla del tablero como un token, lo que permite la proyección de representaciones intermedias a través de la cabeza de salida para revelar distribuciones de política en cada capa.

Para abordar los desafíos de las arquitecturas Post-LN (donde la normalización de capa ocurre después de las conexiones residuales), los autores adaptan la lente de logits aplicando una ablación de cero (zero ablation) a las salidas de las subcapas más allá de una capa $\ell$ específica, preservando simultáneamente las normalizaciones de capa y los factores de escala subsiguientes. Esto permite la extracción de políticas intermedias significativas.

El estudio emplea tres enfoques analíticos primarios:

1. Análisis de Política por Capas: Seguimiento de la evolución de las probabilidades de movimiento y las tasas de éxito en la resolución de puzles a través de los 15 niveles de la arquitectura transformer.
2. Verificación Causal de la Búsqueda Anticipada: Replicación de los análisis de Jenner et al. (2024) —parcheo de activación, ablación de cabezales de atención y sondeo bilineal— en "puzles olvidados" (posiciones donde las capas intermedias encuentran la solución correcta pero el modelo final no lo hace) para determinar si el mecanismo de búsqueda anticipada está activo.
3. Direccionamiento de Conceptos (Concept Steering): Análisis de las preferencias de conceptos por capa (usando términos de evaluación de Stockfish como proxies para la seguridad y la agresividad) y aplicación de direccionamiento de activación basado en gradientes para contrarrestar los sesgos (priors) aprendidos, probando si esto recupera las soluciones olvidadas.

Contribuciones Clave

1. Extensión de la Lente de Logits para Post-LN: Los autores extienden con éxito la lente de logits a la arquitectura Post-LN de Leela, revelando que las políticas intermedias siguen una progresión estructurada a través de heurísticas de ajedrez de complejidad creciente, con una mejora constante de la fuerza de juego conforme aumenta la profundidad.
2. Identificación de "Puzles Olvidados": Identifican un modo de fallo sistemático donde las soluciones correctas (que a menudo implican sacrificios o movimientos forzados) aparecen en las capas intermedias con alta probabilidad, pero son sobrescritas en la salida final. En un conjunto de datos de 7,901 tales posiciones, el 88.6% involucra sacrificios, y el modelo frecuentemente los reemplaza por movimientos posicionales "tranquilos".
3. Evidencia Causal de Sesgos de Seguridad: El artículo proporciona evidencia causal de que la sobrescritura no se debe a un fallo del algoritmo de búsqueda anticipada. En su lugar, las capas tardías (específicamente alrededor de la capa 13) se desplazan hacia la priorización de sesgos de seguridad (ej. seguridad del rey, evitar amenazas) sobre soluciones tácticas agresivas. Al dirigir el modelo contra estas preferencias de seguridad, los autores recuperan el 61.7% de los puzles olvidados, demostando que los sesgos distributivos aprendidos pueden sobrescribir las soluciones algorítmicas.

Resultados Clave

• Estructura Algorítmica vs. Comportamiento: El mecanismo de búsqueda anticipada opera normalmente en los puzles olvidados. Los movimientos futuros de la continuación correcta están representados, son causalmente importantes (verificado mediante parcheo de activación y ablación de atención) y son linealmente decodificables (vía sondeo). El algoritmo computa la solución correcta, pero esta no se utiliza.
• El Mecanismo de Sobrescritura: La sobrescritura ocurre principalmente en las últimas capas de alimentación hacia adelante (feed-forward). La cabeza de valor evalúa correctamente el resultado ganador de la jugada correcta (ej. asignando una probabilidad de victoria del 99.8% a un mate forzado), pero la cabeza de política selecciona una jugada perdedora.
• Dominio del Sesgo de Seguridad: El análisis de las preferencias de conceptos muestra que, mientras las capas tempranas y medias favorecen conceptos agresivos (vulnerabilidad del rey oponente, amenazas), las capas tardías priorizan cada vez más conceptos conservadores (seguridad del propio rey, reducción de amenazas del oponente).
• Éxito de la Intervención: El direccionamiento basado en gradientes contra los conceptos de seguridad en la capa 13 (específicamente reduciendo el peso en la mitigación de amenazas del oponente) recupera el 61.7% de los puzles olvidados con regresiones mínimas, confirmando que los sesgos de seguridad son el mecanismo principal que suprime la solución algorítmica.

Significado y Reivindicaciones

El artículo sostiene que la estructura algorítmica no garantiza el comportamiento algorítmico. Un modelo puede poseer la capacidad interna para resolver un problema (mediante un algoritmo de búsqueda anticipada aprendido) y aun así emitir la respuesta incorrecta porque los sesgos aprendidos competidores (en este caso, heurísticas de seguridad derivadas de la distribución de entrenamiento) sobrescriben la computación algorítmica en las capas finales.

Este hallazgo desafía la suposición de que identificar circuitos causales (algoritmos) es suficiente para predecir el comportamiento del modelo. Sugiere que en dominios con una verdad de base verificable, los modelos pueden poseer "capacidades ocultas" que no se reflejan en sus salidas debido al dominio de las heurísticas distributivas. Los autores posicionan esto como una nota de precaución para la interpretabilidad mecánica: entender qué computa un modelo es distinto de entender qué elige emitir, ya que esto último puede estar dictado por sesgos que entran en conflicto con la solución algorítmica.