LegalMidm: Use-Case-Driven Legal Domain Specialization for Korean Large Language Model

1. Probleemstelling

De snelle proliferatie van open-source Large Language Models (LLM's) heeft geleid tot inspanningen voor het creëren van domeinspecifieke specialisten. Echter, bestaande domeinspecialistische LLM's (met name op het juridische gebied) lijden vaak onder een kritieke disconnectie:

• Misalignement met Real-World Behoeften: Veel modellen zijn getraind op datasets en protocollen gebaseerd op naïeve aannames van bruikbaarheid, in plaats van de genuanceerde, hoog-risico vereisten van daadwerkelijke juridische workflows.
• Gebrek aan Strenge Toetsing: Huidige benaderingen slagen er vaak niet in om de ambiguïteit inherent aan juridische taken aan te pakken, of om hun data-samenstellingen en input/output-formaten te rechtvaardigen.
• Catastrofaal Vergeten: Het aanpassen van algemene modellen aan specifieke domeinen brengt vaak het risico met zich mee dat de prestaties op algemene taken verslechteren, of dat het model zijn identiteit verliest (bijvoorbeeld het beantwoorden van "Wie ben jij?").
• Context: Hoewel er een grote vraag is naar AI in de Koreaanse juridische sector, ontbreekt het aan systematische kaders voor het aanpassen van open LLM's specifiek aan Koreaans recht.

2. Methodologie

De auteurs stellen LEGALMIDM voor, een verticaal LLM voor het Koreaanse juridische domein, gebouwd op de Mi:dm-2.0-Base (een 11,5B parameter tweetalig Koreaans-Engels model). De methodologie is een use-case-gedreven, end-to-end framework bestaande uit vier pijlers:

A. Onderzoek naar Eisen & Taakselectie

In plaats van generieke training, analyseerden de auteurs 20 operationele legal tech-diensten (VS en Zuid-Korea) en raadpleegden zij praktiserende advocaten. Zij identificeerden zes hoog-vraagtaken:

1. Document Samenvatting (DS)
2. Vraagbeantwoording op basis van documenten (DQA)
3. Open Vraagbeantwoording (Open QA)
4. Klachtenopstelling (DD)
5. Petitieopstelling (DD)
6. Meerkeuzevragen (MC)

B. Data Cursatie & Constructie

• Menselijk Gecureerde Data: Een team van rechtenstudenten, industriële professionals en advocaten construeerde hoogwaardige datasets. Dit omvat 100 terughoudende teststalen per taak.
• Automatische Synthetische Data Generatie: Om het datavolume te schalen, maakten zij gebruik van de statuten van het Koreaanse Wetgevingsinformatiecentrum. Met behulp van GPT-4o genereerden zij QA-paren waarbij het model werd gevraagd om specifieke wettelijke bepalingen te citeren.
  • Verificatie: Een verificatiestap op string-overeenkomst zorgde ervoor dat geciteerde referenties daadwerkelijke substrings waren van de bronstatuten, waardoor feitelijke onderbouwing werd gewaarborgd.
• Behoud van Algemeen Domein: Om catastrofaal vergeten te voorkomen, analyseerden de auteurs echte gebruikersvragen (van ChatKoAlpaca) om gemeenschappelijke identiteitsvragen te identificeren (bijvoorbeeld "Wie ben jij?") en namen algemene domeindata (KoAlpaca, KOpen-HQ) op in de trainingmix.

C. Trainingspijplijn

Het trainingsproces omvatte twee fasen met specifieke ablatiestudies om optimale strategieën te bepalen:

1. Continu Pre-Training (CPT): Aanpassing van het basismodel aan het juridische domein.
2. Instruction-Tuning (IT): Verfijning van het model voor specifieke taken.

Belangrijke Ontwerpbeslissingen (Geverifieerd via Ablatie):

• Data Samenstelling: Het integreren van algemene domeindata (in een verhouding van 7:3 Algemeen:Juridisch) tijdens beide CPT- en IT-fasen leverde superieure prestaties op in vergelijking met training uitsluitend op juridische data. Dit behield algemene capaciteiten terwijl het de juridische specialisatie versterkte.
• Formaten voor Synthetische Data: De auteurs testten drie formaten voor juridische referenties ($R$):
  1. $M(Q) \to A$ (Geen referentie)
  2. $M(Q) \to A + R$ (Referentie in output)
  3. $M(Q + R) \to A$ (Referentie in input)
  • Vinding: Hoewel het genereren van referenties in de output goed werkte voor documenttaken, veroorzaakte het instabiliteit bij meerkeuzevragen. De optimale strategie was het plaatsen van juridische referenties in de input ($Q + R$) voor alle taken.
• Optimalisatie van Systeemprompt: De auteurs testten training met en zonder systeemprompts (waarbij het model wordt gedefinieerd als "Mi:dm").
  • Vinding: Training zonder systeemprompts leverde de beste juridische prestaties op. De systeemprompt moet alleen tijdens de inferentie worden toegepast om ervoor te zorgen dat het model zichzelf correct identificeert zonder de taakspecifieke redenering te compromitteren.

3. Belangrijkste Bijdragen

1. Use-Case-Gedreven Framework: Een systematisch recept voor het transformeren van open LLM's naar juridische experts, gebaseerd op daadwerkelijke industrie-eisen in plaats van theoretische aannames.
2. LEGALMIDM Model: De release van een gespecialiseerd 11,5B Koreaans juridisch LLM dat aanzienlijk grotere modellen (bijvoorbeeld Llama-3.3-70B, Qwen2.5-32B) overtreft op Koreaanse juridische benchmarks.
3. Empirische Validatie van Trainingsstrategieën:
   • Aangetoond dat het mengen van algemene domeindata cruciaal is voor het behoud van robuustheid.
   • Geïdentificeerd dat het invoeren van juridische referenties superieur is aan het genereren ervan voor synthetische data.
   • Bewezen dat systeemprompts moeten worden ontkoppeld van trainingsdata en alleen tijdens inferentie moeten worden toegepast.
4. Constructie van Hoogwaardige Datasets: Een strenge pijplijn met juridische experts en geautomatiseerde verificatie om feitelijke onderbouwde juridische datasets te creëren.

4. Resultaten

Het model werd geëvalueerd op zes juridische taken en twee algemene benchmarks (KMMLU, HAERAE).

• Juridische Prestaties: LEGALMIDM (11,5B) behaalde de hoogste scores op alle juridische taken (Klacht, Samenvatting, Petitie, QA, MRC, MC).
  • Voorbeeld: Op de Klacht-taak behaalde LEGALMIDM een Rouge-L-score van 67,67, wat aanzienlijk beter is dan Llama-3.3-70B (53,40) en Qwen2.5-32B (58,81).
  • Het behaalde ook de hoogste LLM-rechter scores (geëvalueerd door GPT-4o) in alle categorieën.
• Algemene Prestaties: Ondanks dat het kleiner is, behield LEGALMIDM concurrerende prestaties op algemene benchmarks (KMMLU, HAERAE), vergelijkbaar met of beter dan veel grotere modellen, wat bevestigt dat de opname van algemene data catastrofaal vergeten heeft voorkomen.
• Ablatie-inzichten:
  • Het verwijderen van algemene data uit CPT/IT veroorzaakte een significante daling in de prestaties van juridische taken.
  • Het opnemen van referenties in de input ($Q+R$) presteerde consequent beter dan andere formaten in stabiliteit en nauwkeurigheid.

5. Betekenis

Dit paper adresseert een kritieke kloof in de implementatie van AI in de juridische sector door de focus te verschuiven van "meer data" naar "betere, use-case-gealigneerde data en trainingsstrategieën".

• Praktische Bruikbaarheid: Het framework biedt een reproduceerbaar pad voor het ontwikkelen van verticale LLM's die niet alleen theoretisch capabel zijn, maar ook praktisch nuttig voor hoog-risico taken zoals het opstellen van klachten en petities.
• Efficiëntie: Het toont aan dat een kleiner, goed afgesteld model (11,5B) grotere foundation-modellen (70B+) kan overtreffen in gespecialiseerde domeinen wanneer de trainingspijplijn is geoptimaliseerd voor de beperkingen van het specifieke domein.
• Koreaans Juridisch AI: Het vult een specifiek gat in het Koreaanse legal tech-landschap, door een model te bieden dat is getraind op Koreaanse statuten en culturele contexten, wat essentieel is voor accurate juridische redenering in die jurisdictie.

Concluderend, LEGALMIDM stelt een nieuwe standaard voor domeinspecialisatie, en bewijst dat strenge data-cursatie, strategische data-mixing en specifieke architecturale keuzes (zoals referenties op basis van input) meer impact hebben dan het simpelweg schalen van de modelgrootte.