Resumen Técnico: VecCISC

Planteamiento del Problema

Escalar el razonamiento en tiempo de inferencia en Modelos de Lenguaje Grandes (LLM) se ha convertido en un enfoque estándar para mejorar el rendimiento en tareas complejas. La técnica fundamental, Consistencia Autoinformada (SC), implica muestrear múltiples trazas de razonamiento y seleccionar la respuesta más frecuente. Más recientemente, la Consistencia Autoinformada Informada por Confianza (CISC) ha demostrado una precisión superior al emplear un paradigma de "pensar dos veces": un LLM crítico evalúa la traza de razonamiento de cada candidato para asignar una puntuación de confianza, la cual se utiliza luego en una votación mayoritaria ponderada.

Sin embargo, CISC sufre de una sobrecarga y un costo significativos en la inferencia. Debido a que el LLM crítico debe ser llamado para cada traza de razonamiento muestreada, el uso de tokens y la latencia se duplican efectivamente en comparación con la SC estándar. Además, la CISC ingenua trata todas las muestras por igual, incluidas trazas alucinadas, degeneradas o semánticamente redundantes, desperdiciando recursos computacionales en salidas de baja calidad que no contribuyen a la decisión final.

Metodología: VecCISC

Para abordar estas ineficiencias, los autores proponen VecCISC, un marco ligero y adaptativo que reduce el número de trazas de razonamiento que requieren evaluación crítica sin sacrificar la precisión. La tubería opera de la siguiente manera:

1. Muestreo: Un LLM ($LLM_{gen}$) genera $n$ pares de traza de razonimiento-respuesta para un prompt dado.
2. Generación de Incrustaciones: Cada traza de razonamiento se convierte en una incrustación vectorial utilizando un modelo de incrustación preentrenado ($Emb$).
3. Agrupación por Respuesta: Las trazas se agrupan según su respuesta resultante ($a$). Esto asegura que las respuestas candidatas distintas se preserven antes del agrupamiento.
4. Agrupamiento (Clustering): Dentro de cada grupo de respuestas, las incrustaciones se agrupan utilizando algoritmos como KMeans o Agrupamiento Jerárquico Aglomerativo (HAC). El objetivo es identificar trazas semánticamente equivalentes, así como aislar valores atípicos (alucinaciones o texto degenerado). El número de grupos ($K$) se determina mediante una búsqueda en cuadrícula en un conjunto de retención.
   • Nota: Los autores evitan explícitamente DBSCAN debido a la sensibilidad de los umbrales de distancia en espacios de incrustación de alta dimensión.
5. Selección de Representante: De cada grupo, se selecciona una única traza representativa. Esto se logra calculando el centroide de las incrustaciones del grupo y seleccionando la traza más cercana a este centroide utilizando la similitud del coseno. Los autores argumentan que la traza más cercana al centroide es la menos propensa a contener errores de razonamiento anómalos.
6. Puntuación de Confianza: En lugar de evaluar las $n$ trazas, el LLM crítico ($LLM_{critic}$) solo se solicita con las trazas representativas de cada grupo.
7. Agregación Final: Las puntuaciones de confianza de los representantes se normalizan (utilizando softmax con una temperatura ajustable $T$) y se utilizan en una votación mayoritaria ponderada para seleccionar la respuesta final.

Contribuciones Clave

El artículo describe cuatro contribuciones principales:

• Marco Novel: Introducción de VecCISC, que utiliza el agrupamiento de trazas de razonamiento para eliminar muestras redundantes y de baja calidad del conjunto analizado por el crítico, reduciendo así el costo del paradigma de "pensar dos veces".
• Validación Empírica: Experimentos extensos en cinco conjuntos de datos diversos (matemáticas, química, biología, razonamiento de sentido común y humanidades) y cinco LLM diferentes (que van desde 7B hasta 70B parámetros) demuestran que VecCISC reduce el presupuesto total de tokens en un 47% mientras mantiene o supera la precisión de la CISC estándar.
• Análisis Comparativo: El estudio compara la selección basada en agrupamiento (KMeans y HAC) contra la selección aleatoria de candidatos ($K$ muestras), demostrando que el agrupamiento semántico es superior al muestreo aleatorio para identificar representantes ideales.
• Código de Código Abierto: Los autores se comprometen a publicar su código para facilitar futuras investigaciones.

Resultados

Los experimentos se realizaron en cinco conjuntos de datos: AQuA-RAT, CommonsenseQA, ARC-Challenging, MMLU-Pro y GPQA.

• Reducción de Costos: VecCISC reduce significativamente el número de llamadas al LLM crítico. VecCISC + KMeans logró una reducción promedio del 34.68% en las llamadas al crítico, mientras que VecCISC + HAC logró un 30.2%. Al considerar toda la tubería (incluido el muestreo inicial), el uso total de tokens se redujo en un 47%.
• Eficiencia de Tokens: La estrategia de selección "min-centroide" (elegir la traza más cercana al centro del grupo) superó consistentemente a la selección aleatoria de trazas, resultando en un menor consumo de tokens para el componente crítico (que representa ~77% del total de tokens).
• Precisión: Las variantes de VecCISC superaron o igualaron consistentemente a la Consistencia Autoinformada estándar y a la CISC en casi todas las combinaciones de modelo-conjunto de datos. Cabe destacar que VecCISC + HAC logró los mejores resultados promedio en la mayoría de las configuraciones, y en algunos casos, el conjunto reducido de trazas de alta calidad condujo a ganancias leves de precisión sobre la CISC.
• Ablación: La línea base "VecCISC (aleatorio)", que selecciona $K$ trazas aleatoriamente sin agrupamiento, tuvo un rendimiento significativamente inferior tanto a la CISC como a la SC, destacando la necesidad del agrupamiento semántico para filtrar el ruido y las trazas degeneradas.

Significado y Afirmaciones

El artículo afirma que VecCISC ofrece una ampliación efectiva y ligera a las tuberías existentes de "pensar dos veces". Los autores afirman que al filtrar trazas semánticamente equivalentes y degeneradas, el marco permite que el LLM crítico se enfoque en un conjunto más pequeño de trazas de razonamiento de mayor calidad. Este enfoque mitiga los costos prohibitivos de inferencia asociados con la calibración de la confianza, al tiempo que preserva y, en algunos casos, mejora el rendimiento del modelo.

Los autores permanecen modestos con respecto a la generalización de sus hallazgos, señalando que, aunque utilizaron un modelo de incrustación de propósito general ($text-embedding-3-small$) para garantizar la adaptabilidad, las tareas especializadas podrían beneficiarse de modelos de incrustación específicos del dominio y ajustados. Además, reconocen que los hiperparámetros $K$ (conteo de grupos) y $T$ (temperatura de softmax) actualmente requieren búsquedas en cuadrícula basadas en datos, sugiriendo que el trabajo futuro podría explorar métodos adaptativos para seleccionar estos parámetros sin datos previos.