On the Effect of Uncertainty on Layer-wise Inference Dynamics

Planteamiento del Problema
A medida que los Modelos de Lenguaje de Gran Escala (LLM) se vuelven más capaces, comprender su conciencia interna de la incertidumbre es crítico para detectar alucinaciones y garantizar la fiabilidad. Si bien investigaciones previas han establecido que los modelos codifican la incertidumbre dentro de sus estados ocultos, sigue sin explorarse suficientemente cómo esta incertidumbre influye en la dinámica de la inferencia; específicamente, si los modelos procesan las predicciones inciertas de manera diferente a las ciertas a través de sus capas. La pregunta central es si los modelos adaptan su trayectoria de inferencia (por ejemplo, utilizando más capas o alterando los patrones de crecimiento de la confianza) cuando se enfrentan a la incertidumbre epistémica (falta de conocimiento), lo que podría proporcionar un mecanismo para la detección de la incertidumbre en el tiempo de inferencia.

Metodología
Los autores investigan esto analizando la dinámica de la inferencia por capas mediante el Tuned Lens (Lente Ajustado), una variante del Logit Lens que decodifica los estados ocultos intermedios en distribuciones de logits del vocabulario. El estudio se centra en la incertidumbre epistémica, operacionalizada como predicciones incorrectas en preguntas de opción múltiple (MCQ) donde la respuesta correcta está presente en las opciones.

La configuración experimental involucra:

• Modelos: Cinco LLMs (Llama-3-8B, Llama-3-8B-Instruct, Vicuna-13B, Mistral-7B-Instruct-v0.1 y Mistral-Nemo-Instruct-2407).
• Conjuntos de datos: 11 conjuntos de datos diversos de MCQ (incluyendo ANLI, ARC, BoolQ, CommonsenseQA, HellaSwag, LogiQA, MMLU, QASC, QuAIL, RACE y SciQ).
• Métricas:
  1. Trayectorias de Probabilidad: La evolución de las probabilidades de los tokens a través de las capas para la predicción con el rango superior frente a las predicciones de menor rango, agregadas por separado para respuestas correctas e incorrectas.
  2. Profundidad de Predicción (PD): La capa específica en la que el modelo se "compromete" con una respuesta (definida como la capa donde la predicción superior diverge de la capa anterior y permanece estable de ahí en adelante).
  3. Análisis de Correlación: Correlación de Pearson entre la incorrectitud de la respuesta y la PD, y la relación entre la competencia en la tarea (medida por el Kappa de Cohen) y la diferencia en la PD entre salidas correctas e incorrectas.

Resultados Clave

1. Dinámicas de Inferencia Alineadas: Las trayectorias de probabilidad para las predicciones correctas e incorrectas están notablemente alineadas. Ambas exhiben aumentos abruptos en la confianza en capas similares, y los modelos parecen decidir sus salidas finales en capas específicas, independientemente de si la salida es finalmente correcta o incierta. No hay una divergencia definitiva en las trayectorias que sugiera dinámicas de inferencia distintas para los casos de incertidumbre.
2. Consistencia de la Profundidad de Predicción: La distribución de las profundidades de predicción es similar para las respuestas correctas e incorrectas en todos los modelos y conjuntos de datos. Los modelos se comprometen con sus predicciones finales en las mismas capas, independientemente de la incertidumbre.
3. Correlación Débil con la Incorrectitud: Aunque el 97% de las correlaciones de Pearson entre la incorrectitud de la respuesta y la PD son positivas, la magnitud es generalmente débil (el 80% de las correlaciones están por debajo de 0.300). Esto sugiere una ligera tendencia de las respuestas incorrectas a ser comprometidas en capas posteriores, pero el efecto es mínimo.
4. Emergencia de Adaptabilidad en Modelos Competentes: Un hallazgo matizado revela una correlación lineal positiva entre la competencia del modelo en la tarea (puntuación Kappa) y la diferencia en la profundidad de predicción entre las respuestas correctas e incorrectas. Específicamente, Llama-3-8B y Mistral-7B-Instruct muestran correlaciones positivas estadísticamente significativas ($p < 0.05$), lo que sugiere que, a medida que aumenta la competencia del modelo, también puede aumentar el grado en que la dinámica de inferencia se adapta a la incertidumbre.

Contribuciones Clave

• Evidencia Empírica sobre Dinámicas: El artículo proporciona amplia evidencia empírica de que, contrariamente a la hipótesis de que los modelos podrían procesar las entradas inciertas de forma más profunda o diferente, los LLM estándar exhiben dinámicas de inferencia mayoritariamente uniformes independientemente de la incertidumbre epistémica.
• Desafío a la Detección Simplista: Los hallazgos desafían la viabilidad de aprovechar métodos simplistas por capas (como la salida temprana basada en la confianza o el compromiso de la capa) para la detección de la incertidumbre, ya que el proceso de toma de decisiones interno no diverge visiblemente para las salidas inciertas.
• Adaptación Dependiente de la Competencia: El estudio introduce la observación de que las dinámicas de inferencia adaptativas pueden ser una propiedad emergente de una mayor competencia del modelo, vinculando la competencia en la tarea con la sensibilidad de la profundidad de inferencia ante la incertidumbre.

Significancia y Reivindicaciones
Los autores afirman que su trabajo demuestra cómo los métodos de interpretabilidad pueden utilizarse para investigar la relación entre la incertidumbre y la inferencia. La significancia principal reside en el resultado negativo: la falta de dinámicas de inferencia distintas para las salidas inciertas implica que la detección de la incertidumbre en el tiempo de inferencia requiere enfoques de interpretabilidad más complejos y matizados, en lugar de depender de métricas simples de trayectoria o profundidad. Además, el artículo postula que, si bien los modelos actuales ignoran en gran medida la incertidumbre en su procesamiento por capas, los modelos más competentes pueden comenzar a exhibir comportamientos adaptativos, lo que sugiere una posible vía para la investigación futura sobre el escalado de modelos y el manejo de la incertidumbre. Los autores concluyen que es necesario realizar más pruebas en modelos más competentes y análisis rigurosos que tengan en cuenta los distintos niveles de incertidumbre y las alucinaciones sobre el conocimiento conocido para validar estos hallazgos exploratorios.