Resumen Técnico: Destilación Auto-Filtrada con Indicadores de Confianza Generados por LLM para Clasificación Confiable de Patentes

1. Declaración del Problema

Organizar corpus de patentes a gran escala es una tarea crítica de gestión de información esencial para la recuperación de arte previo, el descubrimiento tecnológico y la toma de decisiones sobre propiedad intelectual. Sin embargo, la clasificación automatizada de patentes enfrenta desafíos únicos, incluida la terminología especializada, estructuras de reivindicaciones complejas y ambigüedad estratégica, lo que la hace más difícil que la clasificación de texto de dominio general.

Los enfoques recientes intentan aprovechar los Modelos de Lenguaje Grandes (LLM) para generar racionalizaciones en lenguaje natural (explicaciones) que mejoren la interpretabilidad y entrenen modelos "estudiantes" más pequeños mediante destilación de conocimiento. Sin embargo, existe un defecto significativo en este paradigma: las racionalizaciones generadas por LLM a menudo contienen inconsistencias lógicas, discrepancias de etiquetas y desalineaciones semánticas con taxonomías específicas del dominio (por ejemplo, el Sistema de Clasificación Cooperativo de Patentes o CPC). Tratar estas racionalizaciones como supervisión de verdad fundamental de manera indiscriminada absorbe estos errores durante el entrenamiento, socavando la fiabilidad de la clasificación y propagando errores a procesos de información posteriores. Los métodos existentes a menudo carecen de un mecanismo para evaluar cuantitativamente la calidad de la racionalización durante el proceso de aprendizaje, lo que lleva a la propagación de alucinaciones y deriva del dominio.

2. Metodología: Destilación Auto-Filtrada (SFD)

Los autores proponen la Destilación Auto-Filtrada (SFD), un marco que reinterpreta las racionalizaciones generadas por LLM no como etiquetas de verdad fundamental, sino como indicadores de confianza. En lugar de una corrección a posteriori, SFD integra la garantía de calidad directamente en el bucle de entrenamiento modulando dinámicamente la contribución de cada instancia de entrenamiento basada en una puntuación de confianza unificada.

El marco opera en tres etapas:

A. Generación de Predicción y Razonamiento Basada en LLM

Un LLM "profesor" procesa un texto de patente de entrada $x$ para generar:

1. Un conjunto de etiquetas predichas $\hat{Y}$.
2. Una racionalización en lenguaje natural $r$ que explica la predicción.
   El modelo estudiante se entrena para minimizar la pérdida frente a las etiquetas del profesor, pero la racionalización $r$ se utiliza únicamente para estimar la fiabilidad de la muestra, no como una señal de supervisión directa.

B. Evaluación de la Calidad del Razonamiento (Puntuación de Confianza No Supervisada)

Para cuantificar la fiabilidad sin anotación humana, SFD integra tres métricas no supervisadas complementarias en una Puntuación de Confianza Combinada (CTS):

1. Auto-Consistencia (SC): Mide la estabilidad lógica del razonamiento. El modelo profesor genera $k$ racionalizaciones para la misma entrada. SC se calcula como el promedio de la similitud del coseno entre pares de sus incrustaciones de oraciones. Una SC alta indica un razonamiento estable; una SC baja sugiere una generación estocástica o inestable.
2. Alineación de Implicación de Clase (CEA): Evalúa la coherencia semántica entre la racionalización y la definición de la clase asignada. El sistema consulta a un LLM para obtener la definición de la clase CPC predicha ($d_{\hat{y}}$) y calcula la similitud del coseno entre la incrustación de la racionalización y la incrustación de la definición de la clase. Esto asegura que el razonamiento se alinee con la taxonomía específica del dominio.
3. Puntuación de Acuerdo de LLM (LAS): Evalúa la plausibilidad externa utilizando un LLM verificador independiente ($LLM_{juez}$). Este modelo externo evalúa el par $(r, \hat{y})$ y genera una puntuación de confianza, mitigando la posible sobreconfianza del generador.

La CTS se calcula como el promedio simple de estas tres puntuaciones:
$$CTS(x) = \frac{1}{3}(SC(x) + CEA(x) + LAS(x))$$

C. Control de Entrenamiento Consciente de la Confianza

La CTS se utiliza para modular la contribución de aprendizaje de cada muestra de dos maneras:

1. Ponderación Suave: La función de pérdida para cada muestra se escala proporcionalmente a su CTS. Las muestras con puntuaciones de confianza bajas contribuyen menos a las actualizaciones del gradiente.
2. Umbralización Rígida: Las muestras con una CTS por debajo de un umbral predefinido $\tau$ se excluyen completamente del entrenamiento.

El objetivo final de entrenamiento minimiza la pérdida ponderada por confianza:
$$L = \sum_{x \in D} \mathbb{1}\{CTS(x) \ge \tau\} \cdot CTS(x) \cdot Loss(f_\theta(x), y)$$

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

• Destilación Selectiva Consciente de la Confianza: La propuesta de SFD, que reinterpreta las racionalizaciones de LLM como indicadores de confianza e integra tres métricas no supervisadas (SC, CEA, LAS) para modular dinámicamente las contribuciones al entrenamiento, avanzando la destilación de conocimiento bajo supervisión ruidosa.
• Marco de Organización de Información Confiable: El mecanismo de puntuación de confianza proporciona medidas de confianza cuantitativas para cada decisión, permitiendo la auditoría y el control de calidad transparente sobre la organización automatizada de conocimientos de patentes a gran escala.
• Validación en Dominios de Alto Riesgo: La validación de SFD en la clasificación de patentes, un dominio donde la clasificación errónea tiene consecuencias legales y económicas tangibles, demuestra que la destilación consciente de la confianza es efectiva precisamente donde la fiabilidad es más crítica.

4. Resultados Experimentales

El marco se evaluó en el punto de referencia USPTO-2M, que comprende más de 2 millones de patentes de utilidad de EE. UU. en 637 subclases CPC.

• Rendimiento frente a Líneas Base: SFD logró una puntuación Micro-F1 de 0.960, superando a la línea base más fuerte (Destilación Aumentada con Racionalizaciones) en 1.6 puntos porcentuales. Cabe destacar que las líneas base de filtrado de métrica única (por ejemplo, solo Auto-Consistencia o solo LLM-como-Juez) tuvieron un rendimiento inferior incluso a la destilación ingenua, lo que resalta la necesidad de un enfoque multifacético.
• Mejora Macro-F1: En arquitecturas estudiantiles más grandes (por ejemplo, Falcon3-3B), SFD logró una mejora relativa del 38.7% en Macro-F1 en comparación con las líneas base, demostrando que el mecanismo de confianza permite eficazmente el aprendizaje a partir de datos filtrados de alta calidad, incluso para clases minoritarias.
• Estudios de Ablación:
  • CEA se identificó como la métrica más crítica; su eliminación provocó una caída severa en el rendimiento (la Precisión del Subconjunto cayó de 0.930 a 0.695), confirmando que la alineación taxonómica es esencial para la clasificación de patentes.
  • LAS proporcionó un filtrado complementario contra alucinaciones fácticas.
  • SC estabilizó principalmente el rendimiento para clases minoritarias.
• Agnosticismo de Modelo: El marco mejoró consistentemente el rendimiento en cuatro arquitecturas estudiantiles diversas (que van desde 0.6B hasta 3.8B parámetros), demostrando que la señal de confianza es independiente de los sesgos inductivos específicos del modelo.
• Correlación Humana: Las puntuaciones de confianza mostraron una fuerte correlación con juicios humanos expertos ($r = 0.685$), validando que las métricas no supervisadas aproximan eficazmente la calidad genuina del razonamiento.

5. Significado y Reivindicaciones

El artículo afirma que SFD representa un cambio de paradigma en la organización automatizada de conocimientos. En lugar de depender de una secuencia de "clasificar primero, verificar después", SFD integra la garantía de calidad directamente en el proceso de aprendizaje.

• De A Posteriori a Intrínseco: El marco transforma el control de calidad de una función de auditoría externa en una propiedad intrínseca del modelo aprendido.
• Confianza Descomponible: Al descomponer la puntuación de confianza en SC, CEA y LAS, el sistema proporciona resultados de clasificación "auto-documentados". Si una decisión tiene alta estabilidad interna pero baja alineación taxonómica, el sistema señala explícitamente este modo de fallo específico, ayudando a la revisión humana.
• Escalabilidad y Fiabilidad: Los autores argumentan que SFD resuelve la tensión entre la escala de automatización y la fiabilidad organizacional. Permite el procesamiento de corpus masivos de patentes mientras asegura que la señal de entrenamiento en sí misma se curata para la fiabilidad, previniendo la propagación de errores en flujos de trabajo de propiedad intelectual de alto riesgo.

El trabajo concluye que, aunque el mecanismo de confianza impulsa mejoras en el rendimiento, las ganancias específicas en Macro-F1 dependen de la capacidad, lo que sugiere que los modelos más grandes son mejores aprovechando las muestras filtradas de alta calidad para aprender límites de decisión complejos para clases raras.