Resumen Técnico: Circuitos de Juez

Enunciado del Problema

El paradigma de "LLM como Juez" (LaaJ) se ha convertido en el estándar para escalar la evaluación de modelos, pero adolece de un problema crítico de fiabilidad: los modelos asignan puntuaciones sistemáticamente diferentes a la misma entrada dependiendo del formato de salida (por ejemplo, una calificación del 1 al 5 frente a una clasificación Verdadero/Falso). Trabajos anteriores han documentado esta inconsistencia, pero se han detenido en el nivel de entrada-salida, sin explicar los mecanismos computacionales internos. La pregunta central abordada por este artículo no es si los modelos juzgan de manera consistente, sino dónde en la vía computacional desde la entrada hasta la salida se origina la inconsistencia inducida por el formato de token.

Metodología

Los autores emplean Parcheo de Atribución de Bordes Consciente de la Posición (PEAP) para investigar causalmente los mecanismos internos de los circuitos de juez en los modelos Gemma-3, Qwen2.5 y Llama-3. Su enfoque implica:

1. Descubrimiento de Circuitos: Utilizar PEAP para rastrear bordes causales a través de las posiciones de los tokens (esencial para tareas que comparan segmentos separados como premisa frente a hipótesis) desde tokens de entrada diferenciales (prompts limpios frente a corruptos) hasta la salida.
2. Descomposición Contrastiva: Rastrear dos circuitos para las mismas instancias de datos: uno para una tarea de calificación ($C_{rate}$) y otro para una tarea de control de clasificación ($C_{class}$). La intersección de estos circuitos ($C_{LE} = C_{rate} \cap C_{class}$) define al Evaluador Latente (LE), mientras que las diferencias definen a los Formateadores de Tarea (TF).
3. Sondas Causales: Validar los circuitos descubiertos mediante tres métodos independientes:
   • Ablación Cero: Bloquear los componentes del LE a cero para probar si el conocimiento del mundo se preserva mientras el juicio colapsa.
   • Dirigido en Subespacio: Identificar una dirección de juicio unidimensional en el espacio de activación del LE y dirigirla para observar cambios en la salida.
   • Inyección de Transferencia de Formato (FTI): Capturar las activaciones del LE desde un prompt de calificación e inyectarlas en el grafo de un prompt de clasificación para ver si el token de salida cambia.

Contribuciones y Resultados Clave

1. Descubrimiento de un Evaluador Latente Compartido

El estudio identifica una sub-red Evaluador Latente (LE) dispersa y generalizada ubicada en las Perceptrones de Capa Múltiple (MLP) de mitad a final y en cabezas de atención seleccionadas tardías.

• Superposición entre Tareas: Tareas de juicio distintas (corrección lingüística estructurada, preferencia y sentimiento) comparten un tronco computacional denso. Por ejemplo, en Qwen2.5-7B, la Intersección sobre Unión (IoU) de bordes entre tareas oscila entre el 34,9 % y el 47,0 %.
• Fidelidad: Estos circuitos dispersos (top-$k \le 200$ bordes) son causalmente suficientes, recuperando $\ge 87\%$ del comportamiento de evaluación del modelo en 21 de 25 configuraciones de modelo-tarea.

2. Modularidad Dependiente de la Arquitectura

El aislamiento funcional del LE no es una consecuencia universal de la escala, sino que depende de la arquitectura del modelo:

• Modelos Modulares: En Qwen2.5-7B, Qwen2.5-14B, Llama-3.1-8B y Gemma-3-27B, la ablación cero del LE colapsa el rendimiento de juicio mientras deja intacto el conocimiento del mundo (MMLU, StrategyQA).
• Modelos Entrelazados: En Gemma-3-12B, el LE está estrechamente entrelazado con las vías de conocimiento del mundo; su ablación degrada tanto el juicio como el recuerdo factual. Esto indica que la modularidad es una propiedad arquitectónica, no meramente una función del número de parámetros.

3. Mecanismo de la Inconsistencia Inducida por el Formato

El artículo proporciona una explicación mecánica de por qué los cambios de formato causan inconsistencia:

• La División: El juicio se calcula mediante una señal estable y continua en el tronco compartido del LE. Esta señal se mapea luego a tokens de salida específicos mediante ramas terminales frágiles y específicas del formato (Formateadores de Tarea).
• El Cuello de Botella: La inconsistencia no surge en la evaluación en sí, sino en el enrutamiento. El LE calcula una dirección de juicio estable unidimensional, pero la "geometría del atractor" del Formateador de Tarea (cómo mapea este escalar a tokens discretos) varía según el formato y el modelo.
  • Formatos Binarios/Ordinales: En formatos con atractores claros (por ejemplo, Sí/No binario o escalas del 1 al 5), la señal del LE se decodifica con éxito.
  • Formatos Multi-Atractor: En tareas como MNLI (Entailment/Neutral/Contradiction), el formateador distribuye la masa de probabilidad entre tres tokens competidores. Inyectar una señal de juicio unidimensional a menudo falla en cambiar la salida porque la señal se fragmenta entre los tres atractores, impidiendo que una sola etiqueta alcance el argmax.
• Evidencia de FTI: La inyección de activación generalizada desde un prompt de calificación hacia un prompt de clasificación invierte el token de salida en modelos modulares (por ejemplo, Qwen2.5-7B invierte $\ge 99\%$ de los casos), pero falla en modelos donde el formateador está geométricamente aislado (por ejemplo, Gemma-3-27B en MNLI).

4. Implicaciones Prácticas para la Evaluación

Los autores demuestran que la dirección causal unidimensional del LE puede servir como un escalar de juicio zero-shot.

• En datos de preferencia de $N$ pequeño (donde las salidas solicitadas están mal calibradas y las sondas supervisadas sufren sobreajuste), esta señal latente iguala o supera a las sondas residuales supervisadas.
• Sin embargo, en tareas donde el vocabulario solicitado está alineado en escala con las etiquetas humanas (por ejemplo, estrellas del 1 al 5 de Yelp), los valores esperados ponderados por probabilidad siguen siendo una línea base sólida que la dirección latente no supera.

Significado y Afirmaciones

El artículo reencuadra el debate sobre la fiabilidad de LaaJ. Argumenta que la inconsistencia conductual bajo perturbaciones de formato es la firma esperada de un juicio interno estable enrutado a través de un mapeo terminal frágil, en lugar de un fallo de la capacidad de evaluación subyacente.

• Cambio Diagnóstico: La pregunta diagnóstica cambia de "¿El modelo juzga de manera consistente?" a "¿El formateador para esta especificación de salida preserva el juicio subyacente?".
• Interpretación de Puntos de Referencia: Las comparaciones de fiabilidad a nivel de punto de referencia entre formatos miden parcialmente la geometría del formateador en lugar de la calidad de la evaluación.
• Perspectiva Arquitectónica: Los hallazgos desafían la suposición de que las abstracciones internas limpias emergen genéricamente con la escala; en cambio, las elecciones arquitectónicas (datos de entrenamiento, dispersión de atención, normalización) desempeñan un papel fundamental en determinar si un modelo exhibe modularidad funcional.

Los autores concluyen que las soluciones para la inconsistencia de LaaJ deben dirigirse al formateador (el mecanismo de enrutamiento) sin perturbar la competencia central de juicio del modelo, y que la extracción de subespacios latentes es una alternativa viable a las salidas solicitadas, particularmente en regímenes donde las salidas discretas están mal calibradas.