Resumen Técnico: LOVER (Verificador Regularizado por Lógica)

Enunciado del Problema

Los verificadores son esenciales para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM) mediante la optimización de parámetros (vía RL) o la selección de salidas óptimas (vía escalado de inferencia). Sin embargo, los verificadores existentes enfrentan dos limitaciones principales:

1. Dependencia de Datos: Los verificadores supervisados tradicionales requieren conjuntos de datos etiquetados costosos y que consumen muchos recursos. La recopilación de anotaciones de alta calidad, especialmente para dominios especializados o anotaciones de procesos a nivel de paso, es costosa y consume mucho tiempo.
2. Diversidad y Generalización: La dependencia de anotaciones expertas puede conducir a una falta de diversidad en las soluciones, ya que los anotadores pueden favorecer patrones de razonamiento familiares sobre otros igualmente válidos pero menos intuitivos. Además, enfoques no supervisados recientes como CoT-Decoding son sensibles a la elección del modelo base, mientras que otros como CCS se limitan a preguntas de Sí/No y tienen dificultades para escalar a tareas de razonamiento general.

La pregunta central abordada es si es posible construir verificadores efectivos sin el proceso de supervisión, aprovechando el conocimiento intrínseco ya presente en los LLM.

Metodología: LOVER

Los autores proponen LOVER (Verificador Regularizado por Lógica), un verificador probabilístico no supervisado regularizado por reglas lógicas. LOVER trata la tarea de verificación como la inferencia de una variable latente binaria (valor de verdad) basada en las activaciones internas de un LLM, sin modificar los pesos del LLM ni requerir datos etiquetados.

Componentes Principales

1. Afirmaciones Contrastivas:
   Para una pregunta dada $q$ y una ruta de razonamiento generada $s_i$, la entrada se aumenta con plantillas de texto para formar afirmaciones contrastivas:

   • $x^+_i = q \oplus s_i \oplus \text{"Esta es una respuesta verdadera."}$
   • $x^-_i = q \oplus s_i \oplus \text{"Esta es una respuesta falsa."}$
     Este proceso busca elicitar las "creencias" o "conocimientos" internos del modelo con respecto a la validez de la ruta de razonamiento.

2. Modelo Verificador Latente:
   El verificador es una Red Neuronal Perceptrón Multicapa (MLP) ligera que toma las representaciones del estado oculto (específicamente de las capas intermedias) de las afirmaciones como entrada. Produce una probabilidad $p_\theta(z|x)$, donde $z \in \{0, 1\}$ indica la validez de la afirmación.

3. Restricciones Lógicas (Regularización):
   Para vincular reglas lógicas discretas con redes neuronales continuas, LOVER impone tres restricciones lógicas mediante objetivos probabilísticos suaves:

   • Consistencia de Negación: Para un par de afirmaciones contrastivas ($x^+_i, x^-_i$), sus probabilidades de verdad deben sumar 1 y diferir significativamente (Ley del Tercio Excluido). Esto evita soluciones degeneradas donde ambas se asignan la misma probabilidad.
   • Consistencia Intragrupo: Las rutas de razonamiento agrupadas por la misma respuesta final deben compartir probabilidades de corrección similares. Esto impone consistencia entre soluciones que conducen a la misma conclusión.
   • Consistencia Intergroupo: Entre múltiples grupos de rutas de razonamiento (cada grupo correspondiente a una respuesta final distinta), exactamente la afirmación "verdadera" de un grupo debe ser válida. Esto se impone mediante una restricción de suma y un término de regularización de entropía para evitar una distribución de probabilidad uniforme entre grupos.

4. Entrenamiento e Inferencia:

   • Entrenamiento: El modelo se entrena de extremo a extremo minimizando la suma de las tres funciones de pérdida derivadas de las restricciones lógicas. No se utilizan etiquetas de verdad fundamental.
   • Inferencia: Dada una pregunta, se generan $N$ soluciones candidatas. Para cada solución, el verificador predice la probabilidad de corrección de la afirmación "verdadera". Las soluciones se agrupan por sus respuestas finales, y el grupo con la puntuación agregada más alta (usando estrategias de máximo o suma) se selecciona como la respuesta final.

Contribuciones Clave

1. Marco No Supervisado Principiado: LOVER proporciona un marco escalable para verificar rutas de razonamiento aprovechando el conocimiento intrínseco de los LLM regularizado por reglas lógicas, eliminando la necesidad de datos supervisados.
2. Objetivos Probabilísticos Suaves: El artículo introduce formulaciones probabilísticas suaves para restricciones lógicas discretas, permitiendo el entrenamiento diferenciable y de extremo a extremo del verificador.
3. Compatibilidad General: El método es compatible con cualquier LLM de caja blanca disponible y aplicable a tareas de razonamiento general, no limitado a tipos de preguntas específicos como Sí/No.

Resultados Experimentales

Los experimentos se realizaron en 10 conjuntos de datos, incluyendo razonamiento matemático (GSM8K, iGSM), conocimiento de dominio abierto (HotpotQA, MMLU-Pro) y tareas fuera de distribución (OOD) de BIG-Bench Hard.

• Rendimiento vs. Líneas Base: LOVER supera significativamente a las líneas base no supervisadas (Greedy, Votación Mayoritaria, CoT-Decoding).
  • En promedio, LOVER (suma) logra un rendimiento comparable a los verificadores supervisados, alcanzando aproximadamente el 95% del nivel de rendimiento del verificador supervisado.
  • LOVER (suma) logra una ganancia absoluta de precisión promedio de 3.3% sobre la Votación Mayoritaria y de 2.9% sobre CoT-Decoding.
  • LOVER demuestra robustez a través de diferentes escalas de modelos (desde 0.5B hasta 32B parámetros) y estrategias de decodificación.
• Estudios de Ablación:
  • Restricciones Lógicas: Eliminar la pérdida de consistencia intergrupo ($L_{inter}$) causó la caída de rendimiento más significativa, indicando su papel crítico en la distinción de grupos de respuestas correctas. La consistencia de negación ($L_{nega}$) también fue crucial para evitar la puntuación idéntica de afirmaciones verdaderas/falsas.
  • Estrategia de Decodificación: LOVER funciona mejor con decodificación CoT natural y es menos sensible a cambios en la estrategia de decodificación en comparación con CoT-Decoding, que depende en gran medida de formatos de salida específicos.
  • Estados Ocultos: Utilizar estados ocultos de capas intermedias (por ejemplo, capa 15 o 20 en Mistral-7b) produce un rendimiento óptimo.
• Generalización OOD: LOVER demuestra una fuerte generalización en conjuntos de datos OOD (Expresiones Booleanas, Web of Lies, etc.), superando a la Votación Mayoritaria y a CoT-Decoding en todos los escenarios probados, lo que sugiere que aprende patrones agnósticos al dominio para evaluar la corrección de afirmaciones.

Significado y Afirmaciones

El artículo afirma que LOVER representa un paso significativo hacia la construcción de verificadores que no dependen del costoso proceso de supervisión. Al tratar el verificador como una variable latente binaria e imponer consistencia lógica en múltiples rutas de razonamiento, LOVER aprovecha eficazmente el "conocimiento latente" dentro de los LLM.

Los autores posicionan a LOVER como una sonda no supervisada guiada por reglas lógicas, ofreciendo una alternativa práctica a los verificadores supervisados. Aborda las limitaciones de los métodos no supervisados existentes (que son o bien basados en heurísticas y sensibles a la elección del modelo, o limitados a tipos de preguntas específicos) al proporcionar una solución flexible y escalable para tareas de razonamiento general. El trabajo sugiere que las restricciones lógicas pueden servir como priores efectivos para desbloquear las capacidades de razonamiento de los LLM sin anotación humana.

Limitaciones Notadas: El método requiere inherentemente acceso a los estados ocultos del LLM, lo que restringe su aplicación a modelos de caja blanca e impide su uso directo en escenarios de caja negra.