Probing the Lack of Stable Internal Beliefs in LLMs

1. El Problema: Inconsistencia de Objetivos Implícitos

Aunque los Modelos de Lenguaje Grandes (LLM) han demostrado capacidades impresionantes para simular personalidades y comportamientos humanos, existe una brecha fundamental en su capacidad para mantener tendencias conductuales consistentes a lo largo de interacciones prolongadas.

• Consistencia Externa vs. Interna: La investigación previa se ha centrado en la consistencia externa (coherencia factual, ausencia de contradicciones lógicas en las respuestas). Sin embargo, este trabajo identifica un problema más profundo: la falta de consistencia interna (o "implícita").
• La Hipótesis: Los LLMs carecen de representaciones internas estables que anclen sus objetivos no declarados. Aunque sus respuestas parezcan coherentes superficialmente, su "objetivo" interno (la entidad o número que han seleccionado secretamente) puede desviarse ("goal drift") durante el diálogo sin que el modelo sea consciente de ello o sin que esto se manifieste en una contradicción lógica inmediata.
• Definición de Inconsistencia Implícita: Ocurre cuando el estado de creencia interno del modelo ($b_k$) se desvía de la entidad objetivo original ($e_t$) hacia una entidad diferente ($e'$), manteniendo al mismo tiempo respuestas externas consistentes con ambas entidades.

2. Metodología

Para investigar este fenómeno, los autores diseñaron un marco experimental basado en el juego de "20 preguntas" adaptado para LLMs.

A. Configuración del Experimento

• Roles: Se utilizan dos roles de modelo:
  1. Proposer (Proponente): Se le asigna secretamente un objetivo (un número o una entidad) y debe responder "sí" o "no" a las preguntas del usuario manteniendo la consistencia con ese objetivo.
  2. Guesser (Adivino): Hace preguntas de sí/no para deducir el objetivo.
• Tareas:
  1. Adivinanza de Números: Selección de un número entre 0 y 99 (baja complejidad semántica).
  2. Adivinanza de Entidades: Selección de una entidad entre 10 opciones diversas (alta complejidad semántica).
• Técnica de Sondeo (Probing): Para medir el estado interno sin contaminar el diálogo principal, el sistema inserta una consulta de sondeo después de cada turno: "¿Cuál es el índice específico del objetivo que seleccionaste?". Esto permite extraer la distribución de probabilidad del modelo sobre los candidatos.

B. Métricas de Evaluación

Los autores cuantifican la consistencia implícita mediante tres métricas:

1. Tasa de Deriva (Drift Rate - D.R.): Frecuencia de cambios discretos en la selección del objetivo implícito a lo largo del diálogo.
2. Divergencia KL (KL Divergence): Mide el cambio continuo en la distribución de probabilidad del objetivo entre turnos ($D_{KL}(P_t || P_{t-1})$).
3. Verificación de Consistencia Externa (E.C.V.): Evalúa si hay contradicciones lógicas observables en las respuestas (usando un LLM como juez).

C. Marco de Entrenamiento

Para mitigar el problema, se propuso un enfoque de Ajuste Fino Supervisado (SFT) con una función de pérdida combinada:
$$\mathcal{L} = \sum_{t=1}^{T} [\alpha \cdot D_{KL}(P_{probe}^t || P_{initial}) + \beta \cdot \mathcal{L}_{CE}]$$
Donde el término de Divergencia KL penaliza la desviación del estado de creencia inicial, actuando como regularizador para anclar el objetivo.

3. Resultados Clave

A. Hallazgos en Modelos Pre-entrenados (Inference)

• Fallo Universal: Todos los modelos probados (GPT-4o, Deepseek-v3.1, Claude-3.7-Sonnet, Seed-1.6) mostraron una alta tasa de inconsistencia implícita.
• Deriva Total: La mayoría de los modelos exhibieron una Tasa de Deriva Única (Once D.R.) del 100%, lo que significa que en casi todos los diálogos, el modelo cambió su objetivo interno al menos una vez.
• Impacto del Razonamiento: Paradójicamente, el uso de modelos potenciados con razonamiento ("+ Reasoning") a menudo aumentó la deriva de objetivos en tareas simples (como adivinar números), sugiriendo que el "sobre-pensamiento" introduce complejidad innecesaria que desestabiliza el objetivo original.
• Consistencia Externa vs. Interna: Se observó que los modelos podían mantener una alta consistencia externa (sin contradicciones lógicas) mientras sufrían una deriva interna masiva.

B. Resultados del Ajuste Fino (Fine-Tuning)

Al entrenar un modelo (Qwen-2.5-14B) con la estrategia propuesta:

• Solo Entropía Cruzada (CE): No logró mitigar la inconsistencia implícita.
• Solo Divergencia KL: Logró una mejora significativa en la persistencia del objetivo, reduciendo la tasa de deriva y la divergencia KL.
• Combinación (CE + KL): Proporcionó resultados equilibrados, demostrando que la regularización explícita de la estabilidad del estado de creencia es efectiva.

4. Contribuciones Principales

1. Formalización del Concepto: Definieron matemáticamente la "consistencia implícita" y la distinguieron de la consistencia externa, estableciendo un marco para medir la estabilidad de objetivos no declarados.
2. Metodología Unificada de Sondeo: Desarrollaron un sistema de indexación numérica y sondeo en ramas que permite monitorear continuamente los estados de creencia internos de los LLMs sin interferir en la interacción principal.
3. Evidencia Empírica de Limitaciones: Demostraron que los LLMs de última generación carecen fundamentalmente de la capacidad de mantener objetivos implícitos estables, un hallazgo crítico para la modelación de personalidades.
4. Solución Parcial: Probaron que la regularización mediante Divergencia KL durante el entrenamiento puede mitigar este problema, ofreciendo una vía técnica para mejorar la fiabilidad de los agentes de diálogo.

5. Significado e Impacto

Este trabajo revela una limitación fundamental en la arquitectura actual de los LLMs: la coherencia superficial no garantiza la estabilidad interna.

• Implicaciones para Agentes de IA: Para aplicaciones como sistemas de diálogo, asistentes de rol o agentes autónomos, la falta de "creencias internas estables" significa que estos sistemas pueden cambiar de opinión o de objetivo sin que el usuario lo note, erosionando la confianza y la fiabilidad.
• Necesidad de Nuevos Mecanismos: El estudio sugiere que la alineación conductual superficial es insuficiente. Se requieren mecanismos arquitectónicos o de entrenamiento explícitos para "anclar" los objetivos implícitos a lo largo del tiempo.
• Futuro: El trabajo abre la puerta a investigaciones sobre mecanismos de memoria a largo plazo, seguimiento explícito de estados de creencia y objetivos de entrenamiento alternativos para lograr una interacción humano-IA verdaderamente consistente y confiable.

En resumen, el artículo demuestra que, sin intervención explícita, los LLMs actúan como "amnesiásticos" de sus propios objetivos secretos, cambiando de rumbo internamente incluso cuando sus respuestas externas parecen perfectamente lógicas.