Pointer-Augmented Autoregressive Generation of Patent Claims with Joint Topology and Content Decoding

Resumen Técnico: Generación Autoregresiva de Reivindicaciones de Patentes con Puntero Aumentado mediante Decodificación Conjunta de Topología y Contenido

Planteamiento del Problema
Los modelos de lenguaje autoregresivos generan texto como secuencias planas de tokens, careciendo de mecanismos explícitos para razonar sobre las relaciones jerárquicas entre los segmentos de salida. Esta limitación es aguda en la generación de reivindicaciones de patentes, donde un conjunto de reivindicaciones forma un "Bosque de Dependencia de Reivindicaciones". En esta estructura, las reivindicaciones independientes actúan como raíces de árboles, y las reivindicaciones dependientes deben citar reivindicaciones antecedentes a través de referencias jerárquicas. Crucialmente, la jerarquía conlleva restricciones estatutarias: el alcance de la protección debe estrecharse de forma monótona con la profundidad. El incumplimiento de estas restricciones (por ejemplo, que una reivindicación dependiente amplíe el alcance de su progenitor o que no cite un antecedente válido) constituye un motivo de rechazo por parte de las oficinas de patentes.

Los enfoques existentes sufren tres limitaciones primarias:

1. Separación Arquitectónica: La decodificación autoregresiva estándar no puede modelar dependencias no lineales padre/hijo, lo que a menudo produce cadenas de dependencia rotas. Los métodos que predicen la topología de forma aislada del contenido o que imponen una gramática superficial sin consistencia semántica fallan al no garantizar que la redacción de una reivindicación dependiente refleje el alcance de su progenitora.
2. Falta de Regularización del Alcance: Ningún método existente proporciona un sesgo inductivo para el requisito estatutario de que el alcance se estrecha con la profundidad, lo que lleva a los modelos a generar reivindicaciones dependientes que, inadvertidamente, amplían o contradicen a sus progenitoras.
3. Ausencia de Señales Negativas: Alinear los modelos con estas restricciones requiere ejemplos contrastivos de salidas deficientes. Sin embargo, los corpus de patentes públicos consisten casi exclusivamente en solicitudes concedidas, lo que deja sin "señal negativa" (bosques defectuosos) para que el modelo aprenda de ellos.

Metodología: SPG (Generación de Patentes Sensible a la Estructura)
Los autores proponen SPG, un marco que predice la topología dentro del paso autoregresivo, asegurando que la representación que emite los tokens de una reivindicación sea la misma que decide dónde se ancla dicha reivindicación. El marco opera en dos etapas:

• Etapa I: Entrenamiento Sensible a la Estructura

  • Decodificación Aumentada con Puntero: El decodificador autoregresivo se aumenta con una cabeza de puntero. En el delimitador de apertura de cada reivindicación dependiente, esta cabeza selecciona un progenitor del conjunto de reivindicaciones precedentes. Crucialmente, el puntero lee los mismos estados ocultos utilizados para la predicción de tokens. Esto permite que los gradientes de la tarea de selección de progenitores den forma a las representaciones del decodificador, haciendo que el decodificador sea inherentemente sensible a la topología.
  • Objetivos Auxiliares:
    • Pérdida de Consistencia Estructural: Una pérdida de entropía cruzada supervisa la selección de progenitores del puntero frente a los enlaces de la verdad de campo (ground-truth).
    • Regularización de Alcance Jerárquico: Una restricción de margen adaptativa a la profundidad fomenta que la representación de una reivindicación dependiente permanezca cerca de la representación de su progenitora. El radio permitido para esta distancia se reduce geométricamente con la profundidad, imponiendo el requisito estatutario de que el alcance se estrecha a medida que la profundidad aumenta.

• Etapa II: Optimización de Preferencia Legal (LPO)

  • Para abordar la falta de señales negativas en los corpus de patentes concedidos, los autores sintetizan candidatos deficientes muestreando de la política de la Etapa I con diferentes temperaturas.
  • Una función de puntuación determinista (PatentScorerule) evalúa estos candidatos basándose en el recuento de reivindicaciones, patrones estructurales, consistencia de antecedentes, longitud y traslape de contenido.
  • Objetivo Ponderado por Severidad: A diferencia de la Optimización de Preferencia Directa (DPO) estándar, que trata todos los pares de preferencia por igual, SPG escala la pérdida contrastiva según la severidad de la deficiencia en la muestra rechazada. Esto evita el "colapso de modo", donde el modelo podría tratar un punto y coma faltante con la misma penalización que un subárbol completo ausente.

Contribuciones Clave

1. Decodificación Conjunta: Una cabeza de puntero predice las dependencias de los progenitores dentro del paso autoregresivo, permitiendo que la topología y el contenido se aprendan en una sola pasada hacia adelante sin una etapa de análisis (parsing) separada.
2. Regularización de Alcance: Un margen adaptativo a la profundidad con radios que decrecen geométricamente acopla de forma más estrecha la relación padre-hijo a medida que la profundidad aumenta, actuando sobre los pares específicos identificados por el objetivo del puntero.
3. Alineación Ponderada por Severidad: Al escalar los pares de preferencia según la severidad de la deficiencia de la muestra rechazada, el método evita el colapso de modo, un fallo de funcionamiento inducido por la ponderación uniforme en tareas de generación estructurada.
4. Disociación Empírica: El estudio demuestra que la conformidad estructural no escala con el tamaño de los parámetros o el preentrenamiento en el dominio; modelos que van desde 6B hasta 141B de parámetros fallan en aprender competencia jerárquica sin sesgos inductivos explícitos, mientras que la fluidez escala de forma natural.

Resultados
Evaluado en el conjunto de datos HUPD-DCG utilizando un motor Llama-3-8B-Instruct:

• Precisión Estructural: SPG recupera el 79.0% de los enlaces de progenitores reales (Precisión de Aristas de Dependencia), una métrica que nunca fue supervisada directamente por la recompensa de entrenamiento.
• Consistencia Referencial: El modelo mejora la consistencia de los antecedentes (AC) de 0.292 (línea base supervisada) a 0.478, indicando una mejor resolución de referencias a través de estructuras de árboles profundos.
• Fluidez: El modelo alcanza puntuaciones de BLEU (37.66) y ROUGE-1 (64.18) de vanguardia entre los modelos ajustados, igualando la fluidez de la línea base supervisada mientras supera significativamente a esta en métricas estructurales.
• Evaluación de Expertos: Dos profesionales de patentes calificaron al modelo completo significativamente más alto (4.05 general) que la línea base supervisada (3.52) y las líneas base de cero disparos (zero-shot), corroborando las métricas automáticas.
• Leyes de Escala: El aumento del tamaño del modelo de 6B a 141B parámetros mejoró la fluidez, pero no mejoró las puntuaciones de patrones estructurales, confirmando que la competencia jerárquica requiere un sesgo arquitectónico explícito en lugar de capacidad.

Significado y Reivindicaciones
El artículo argumenta que para tareas de generación donde las salidas conllevan una estructura ejecutable (legal o programática), las decisiones estructurales deben integrarse en el proceso de generación en lugar de manejarse post-hoc o mediante restricciones superficiales. Los autores postulan tres hallazgos:

1. La escala no es un sustituto de la supervisión estructural: Se requieren mecanismos estructurales explícitos antes de aumentar el tamaño del modelo cuando las tareas implican relaciones entre segmentos no adyacentes.
2. La optimización de la preferencia requiere una ponderación sensible a la severidad: En la generación estructurada, las deficiencias no son intercambiables; es necesario ponderar los gradientes según la severidad de la violación para evitar el colapso.
3. La estructura y el contenido se separan mejor en el tiempo: Restringir primero el andamiaje estructural (Etapa I) y luego optimizar el contenido dentro de ese andamiaje (Etapa II) produce mejores resultados que equilibrar objetivos contrapuestos simultáneamente.

Los autores mantienen la modestia respecto a sus afirmaciones, señalando que el sistema está destinado a asistir a profesionales de patentes y requiere revisión experta. Reconocen limitaciones respecto a las reglas de dependencia específicas de cada jurisdicción (por ejemplo, múltiples dependencias en la EPO frente a un solo progenitor en la USPTO) y el hecho de que su evaluación depende de ejecuciones únicas sin pruebas de significancia. El trabajo se centra estrictamente en el texto de las reivindicaciones y la estructura de dependencia, excluyendo estrategias de redacción de patentes más amplias como la argumentación de novedad.